Se trata de la llamada ‘automejora recursiva’, o RSI por sus siglas en inglés, mediante la cual una IA puede ayudar a desarrollar sistemas cada vez más capaces, que a su vez contribuyen a construir nuevas generaciones de modelos.

El temor es que ese ciclo acelere hasta un punto en el que los humanos pierdan el control sobre su desarrollo.

¿Qué es la ‘automejora recursiva’?

Hasta ahora, los humanos han dirigido las etapas del desarrollo de la IA, definiendo sus objetivos y evaluando resultados. Sin embargo, los modelos actuales ya pueden asumir parte de esas tareas.

El siguiente salto es que una IA cierre ese ciclo y decida qué mejorar, qué diseñar y qué experimentos realizar, evalúe sus resultados y use lo aprendido para desarrollar una versión más avanzada de sí misma.

Anthropic, creadora del modelo Claude, define ese escenario como el momento en que una IA pueda «diseñar de forma autónoma una nueva generación de modelos más capaces», aunque asegura que todavía no se ha llegado a ese punto y que la automejora recursiva no es inevitable.

La IA avanza «más rápido de lo que pensábamos» En los últimos días, Anthropic ha vuelto a advertir sobre la velocidad a la que sus modelos están empezando a contribuir al desarrollo de sistemas de IA, e investigadores de la compañía han alertado de los riesgos que eso conlleva.

Uno de ellos, Jacob Coxon, abandonó la empresa tras advertir de que la industria avanza demasiado rápido hacia sistemas capaces de mejorarse a sí mismos.

Anthropic sostiene que todavía no se ha cerrado completamente ese ciclo y que los humanos siguen decidiendo qué problemas investigar; pero sí ha reconocido que los avances de Claude pueden conducir a la automejora recursiva, algo que, según la empresa, está ocurriendo «más rápido de lo que se pensaba».

El experto Vincent Conitzer explicó a la cadena CNBC que la IA «ya es capaz de introducir algunas ideas nuevas» como proponer una forma diferente de resolver un problema o de mejorar un programa.

El problema es que «resulta difícil saber cuándo esa capacidad suponga acelerar de forma drástica el desarrollo de sistemas de IA cada vez más avanzados«, agregó.

El salto de los ‘agentes’ Una pieza fundamental de este proceso son los llamados agentes de IA: sistemas capaces no solo de responder a una petición, sino de utilizar herramientas, ejecutar código, realizar tareas durante periodos prolongados y colaborar con otros sistemas.

El científico jefe de OpenAI, Jakub Pachocki, dijo la semana pasada tener una «fuerte expectativa» de que si la IA continúa avanzando por el camino de la RSI, los sistemas de los próximos años darán «saltos de capacidad cada vez mayores», «impulsando cada vez más su propio desarrollo».

La preocupación ya no es solo teórica: durante una reciente prueba de ciberseguridad, agentes de OpenAI lograron escapar de su entorno de evaluación y acceder a sistemas de la plataforma Hugging Face.

OpenAI reconoció que los modelos habían ido más allá de lo previsto para completar la prueba.

La supervisión humana en la IA

Según los expertos, el problema puede aparecer si los humanos delegan en la IA tareas cada vez más complejas y dejan de entender qué está haciendo.

Investigadores como Margaret Mitchell advierten de que, a medida que los agentes de IA adquieren autonomía, mantener la supervisión humana se hará cada vez más difícil y que «los sistemas pueden terminar desplazando a las personas de la toma de decisiones».

De ahí que las tecnológicas estén reforzando sus salvaguardas: Pachocki ha pedido «cautela» y «ralentizar el desarrollo si es necesario»; Anthropic ha endurecido sus controles tras detectar usos potencialmente peligrosos de Claude, entre ellos investigaciones que podían facilitar el desarrollo de armas biológicas, y Microsoft presentó hoy un código de conducta para garantizar que sus sistemas permanezcan «bajo control humano».

Por su parte, el presidente estadounidense, Donald Trump, ha rechazado frenar el desarrollo de la IA por temor a perder ventaja frente a China.

De interés: La urgencia de ralentizar la IA y perder contra China divide a EEUU

Con información de EFE Servicios

Fuente de imagen referencial: EFE/Angel Colmenares

¡Sigue nuestras noticias en Google! Para obtener información actual, interesante y precisa. Haz clic aquí y conoce todos los contenidos de DOBLE LLAVE. Encuéntranos también en X/Twitter e Instagram