Se trata de la llamada ‘automejora recursiva’, o RSI por sus siglas en inglés, mediante la cual una IA puede ayudar a desarrollar sistemas cada vez más capaces, que a su vez contribuyen a construir nuevas generaciones de modelos.

El temor es que ese ciclo acelere hasta un punto en el que los humanos pierdan el control sobre su desarrollo.

¿Qué es la ‘automejora recursiva’?

Hasta ahora, los humanos han dirigido las etapas del desarrollo de la IA, definiendo sus objetivos y evaluando resultados. Sin embargo, los modelos actuales ya pueden asumir parte de esas tareas.

El siguiente salto es que una IA cierre ese ciclo y decida qué mejorar, qué diseñar y qué experimentos realizar, evalúe sus resultados y use lo aprendido para desarrollar una versión más avanzada de sí misma.

Anthropic, creadora del modelo Claude, define ese escenario como el momento en que una IA pueda «diseñar de forma autónoma una nueva generación de modelos más capaces», aunque asegura que todavía no se ha llegado a ese punto y que la automejora recursiva no es inevitable.

La IA avanza «más rápido de lo que pensábamos» En los últimos días, Anthropic ha vuelto a advertir sobre la velocidad a la que sus modelos están empezando a contribuir al desarrollo de sistemas de IA, e investigadores de la compañía han alertado de los riesgos que eso conlleva.

Uno de ellos, Jacob Coxon, abandonó la empresa tras advertir de que la industria avanza demasiado rápido hacia sistemas capaces de mejorarse a sí mismos.

Anthropic sostiene que todavía no se ha cerrado completamente ese ciclo y que los humanos siguen decidiendo qué problemas investigar; pero sí ha reconocido que los avances de Claude pueden conducir a la automejora recursiva, algo que, según la empresa, está ocurriendo «más rápido de lo que se pensaba».

El experto Vincent Conitzer explicó a la cadena CNBC que la IA «ya es capaz de introducir algunas ideas nuevas» como proponer una forma diferente de resolver un problema o de mejorar un programa.

El problema es que «resulta difícil saber cuándo esa capacidad suponga acelerar de forma drástica el desarrollo de sistemas de IA cada vez más avanzados«, agregó.

El salto de los ‘agentes’ Una pieza fundamental de este proceso son los llamados agentes de IA: sistemas capaces no solo de responder a una petición, sino de utilizar herramientas, ejecutar código, realizar tareas durante periodos prolongados y colaborar con otros sistemas.

El científico jefe de OpenAI, Jakub Pachocki, dijo la semana pasada tener una «fuerte expectativa» de que si la IA continúa avanzando por el camino de la RSI, los sistemas de los próximos años darán «saltos de capacidad cada vez mayores», «impulsando cada vez más su propio desarrollo».

La preocupación ya no es solo teórica: durante una reciente prueba de ciberseguridad, agentes de OpenAI lograron escapar de su entorno de evaluación y acceder a sistemas de la plataforma Hugging Face.

OpenAI reconoció que los modelos habían ido más allá de lo previsto para completar la prueba.

La supervisión humana en la IA

Según los expertos, el problema puede aparecer si los humanos delegan en la IA tareas cada vez más complejas y dejan de entender qué está haciendo.

Investigadores como Margaret Mitchell advierten de que, a medida que los agentes de IA adquieren autonomía, mantener la supervisión humana se hará cada vez más difícil y que «los sistemas pueden terminar desplazando a las personas de la toma de decisiones».

De ahí que las tecnológicas estén reforzando sus salvaguardas: Pachocki ha pedido «cautela» y «ralentizar el desarrollo si es necesario»; Anthropic ha endurecido sus controles tras detectar usos potencialmente peligrosos de Claude, entre ellos investigaciones que podían facilitar el desarrollo de armas biológicas, y Microsoft presentó hoy un código de conducta para garantizar que sus sistemas permanezcan «bajo control humano».

Por su parte, el presidente estadounidense, Donald Trump, ha rechazado frenar el desarrollo de la IA por temor a perder ventaja frente a China.

De interés: La urgencia de ralentizar la IA y perder contra China divide a EEUU

Con información de EFE Servicios

Fuente de imagen referencial: EFE/Angel Colmenares

¡Sigue nuestras noticias en Google! Para obtener información actual, interesante y precisa. Haz clic aquí y conoce todos los contenidos de DOBLE LLAVE. Encuéntranos también en X/Twitter e Instagram

Altman, según fuentes conocedoras citadas en la información, comunicó a los empleados en una reunión con toda la plantilla celebrada esta semana que la compañía podría moderar el ritmo de desarrollo de la IA, posiblemente en colaboración con otras empresas.

Las declaraciones se producen después de que empleados de las principales empresas de IA hayan expresado públicamente en las últimas semanas su preocupación por el aumento de los riesgos asociados a los sistemas avanzados de la IA.

El científico jefe de OpenAI, Jakub Pachocki, publicó recientemente un artículo en el que advertía de los peligros de la IA y defendía que las empresas del sector deberían coordinarse para ralentizar el desarrollo futuro cuando sea necesario.

Pachocki añadió que espera que las ralentizaciones voluntarias se conviertan en algo habitual hasta que se establezcan unos límites de seguridad comunes.

OpenAI asegura que ya ha ralentizado algunos desarrollos y que recientemente ha suspendido determinados entrenamientos internos de la IA por motivos de seguridad.

En julio, Altman afirmó también que había hablado con responsables de la Casa Blanca sobre la necesidad de moderar el ritmo de desarrollo de la IA.

Elon Musk también se pronunció

Por otra parte, la frase «Darío tiene razón» (o «Dario lleva razón») se transformó en una de las mayores tendencias globales en el mundo tecnológico. Es la respuesta literal y pública que Elon Musk, CEO de xAI, emitió tras la sorpresiva advertencia de Dario Amodei, director de la firma de inteligencia artificial Anthropic.

Amodei publicó un detallado llamado solicitando ralentizar el ritmo de desarrollo de los modelos de frontera. Advirtió que, si no se frena temporalmente la velocidad para dar margen a la alineación y seguridad de los sistemas, una IA avanzada podría llegar a tomar el control de internet en menos de un año.

De su lado, la respuesta de Musk «Darío tiene razón», se produjo unos días después de que el investigador de IA Jacob Coxon, que dejó OpenAI para incorporarse a Anthropic, decidiera abandonar la industria, acusando a ambas empresas estadounidenses de «jugar con nuestras vidas» en la carrera por desarrollar modelos capaces de automejorarse.

De interés: Ingeniero de Anthropic y OpenAI renuncia tras denunciar serios riesgos en avances de la IA

Con información de EFE Servicios, medios internacionales y redes sociales

Fuente de imagen referencial: EFE/EPA/RAJAT GUPTA

¡Sigue nuestras noticias en Google! Para obtener información actual, interesante y precisa. Haz clic aquí y conoce todos los contenidos de DOBLE LLAVE. Encuéntranos también en X/Twitter e Instagram