Reuters.- Los responsables de los principales laboratorios de IA de Estados Unidos se reunieron este fin de semana en una inusual muestra de unidad para pedir una pausa en el desarrollo de esta tecnología, advirtiendo de que pronto podría mejorar por sí sola y escapar al control humano.

Las declaraciones, procedentes de acérrimos rivales empresariales como Dario Amodei, de Anthropic; Sam Altman, de OpenAI; y Elon Musk, de xAI, ponen de manifiesto la rapidez con la que ha avanzado la IA, desde el ChatGPT de 2022, propenso a las alucinaciones, hasta lo que muchos consideran un hito crucial: la auto-mejora recursiva.

¿Qué es la auto-mejora recursiva?

El santo grial de la IA es la idea de que un sistema de IA pueda llegar a ser capaz de mejorarse a sí mismo, con poca o ninguna ayuda de los humanos, y que cada avance contribuya a generar el siguiente.

Esto ha despertado el interés de los investigadores, ya que ofrece la perspectiva de avances rápidos en campos que van desde la medicina hasta la ingeniería.

¿Por qué tanta urgencia?

Las advertencias de los directores generales se producen tras los informes sobre enjambres de agentes de IA —sistemas diseñados para perseguir objetivos y actuar en nombre del usuario— que se confabularon para hackear los sitios web y repositorios de IA.

Las advertencias sobre los riesgos de la IA no son nuevas. Sin embargo, este mes han cobrado mayor urgencia después de que investigadores de los principales laboratorios de IA asignaran tanto un plazo como una probabilidad a esas preocupaciones.

El antiguo investigador de Anthropic, Jacob Coxon, advirtió de que la IA podría acabar con todos nosotros a finales de esta década. Evan Hubinger, responsable de ciencia de alineación de Anthropic, se hizo eco de la advertencia de Coxon y afirmó que había una probabilidad superior al 10 % de que tal evento se produjera en la próxima década.

Detrás de estas advertencias se esconde la creencia cada vez más extendida de que la RSI está por fin al alcance de la mano, y algunos ejecutivos del sector de la IA estiman que se alcanzará en un plazo de tres a cinco años.

La preocupación radica en que la IA podría llegar a ser capaz de mejorarse a sí misma antes de que los investigadores hayan desarrollado métodos fiables para alinear, supervisar y controlar unos sistemas cada vez más potentes.

En un ensayo publicado este fin de semana, Amodei advirtió de que la auto-mejora recursiva podría acabar superando la capacidad de la humanidad para comprender y controlar los sistemas de IA si se lleva a cabo sin las garantías suficientes.

¿Ha mostrado la IA algún indicio de ser perjudicial?

No se han producido casos importantes de IA que haya dañado intencionadamente a los seres humanos, pero los modelos en desarrollo en OpenAI y otros laboratorios han escapado de los entornos de prueba en los últimos meses, infringido normas y pirateado sitios web.

En un caso muy sonado, unos agentes rebeldes de OpenAI piratearon Hugging Face, se hicieron con el control de los servidores de la plataforma de código abierto e intentaron borrar sus huellas.

A los investigadores les preocupa que los sistemas futuros puedan resultar cada vez más difíciles de supervisar, sobre todo porque algunos métodos de entrenamiento más recientes reducen la visibilidad humana sobre cómo los modelos llegan a sus conclusiones.

“El escenario concreto suena un poco a ciencia ficción”, afirmó Coxon, quien dimitió de Anthropic este mes por motivos de seguridad. “Pero creo que es aterradoramente real”.

¿Cómo podríamos pasar de la desalineación a la extinción humana?

Uno de los ejemplos más conocidos es el “maximizador de clips” del filósofo Nick Bostrom, en el que una máquina a la que solo se le ha ordenado fabricar clips persigue ese objetivo con tal implacabilidad que convierte toda la materia, incluidos los seres humanos, en clips o en medios para fabricar más.

La analogía sugiere que casi cualquier objetivo impulsa a un sistema lo suficientemente capaz a adquirir recursos, resistirse al apagado e impedir que se altere su objetivo, no por malicia, sino porque un sistema apagado no puede completar su tarea. Aún no existe ningún plan para descartar esa posibilidad.

¿Es la IA ya capaz de mejorarse a sí misma?

No del todo, pero hay indicios de que la IA está contribuyendo cada vez más a crear una IA mejor. Uno de los mayores cambios desde la llegada de ChatGPT ha sido el auge de los agentes de IA que pueden generar código y crear aplicaciones de forma autónoma, en lugar de limitarse a guiar a los usuarios a través del proceso como un chatbot.

Anthropic afirmó este año que Claude Code, su herramienta de programación, produce la mayor parte del código utilizado en muchos proyectos internos, y que los ingenieros están entregando ocho veces más código por trimestre que lo que lo hacían entre 2021 y 2025.

Competidores como OpenAI han informado de avances similares gracias al mayor uso interno de la IA. La IA también está mejorando a la hora de mantenerse centrada en la tarea antes de fallar.

METR, una organización sin ánimo de lucro que evalúa modelos de vanguardia, descubrió el año pasado que la duración de las tareas de software que los modelos avanzados podían completar con un 50% de fiabilidad se ha duplicado aproximadamente cada siete meses desde 2019.

En junio, Anthropic afirmó que ese ritmo se había acelerado a cada cuatro meses, una tendencia que, de mantenerse, pronto podría permitir que la IA se encargara de proyectos que ocupan a investigadores cualificados durante días o semanas.

Entonces, ¿por qué las empresas de IA no han hecho una pausa ya?

Muchos investigadores describen la situación como un clásico dilema del prisionero. Incluso las empresas que creen que los riesgos son reales se enfrentan a una intensa presión por parte de la competencia. Cualquier empresa que ralentice el desarrollo corre el riesgo de quedarse atrás respecto a sus rivales en una carrera tecnológica que se ha convertido en una de las más importantes del mundo.

Lo que está en juego se ve agravado por el hecho de que tanto OpenAI como Anthropic están preparando salidas a bolsa que podrían valorarlas en billones de dólares, valoraciones que dependen de las expectativas que genere el próximo modelo.

La administración del presidente de EU, Donald Trump, también ha rechazado las peticiones de ralentizar , temiendo que cualquier pausa solo le diera a China margen para reducir la brecha en una tecnología que considera fundamental para la seguridad nacional y económica.

¿Qué significaría una pausa en el desarrollo?

Los mercados han dado una idea de las implicaciones esta semana, con la caída de las acciones relacionadas con la IA tras los llamamientos a una desaceleración. Los fabricantes de chips, los proveedores de servicios en la nube y los operadores de centros de datos han basado su crecimiento en esta tecnología, y cualquier desaceleración amenaza los ingresos vinculados a la rapidez con la que los laboratorios necesitan nuevo hardware.

Sin embargo, algunos analistas creen que, incluso sin nuevos requisitos de entrenamiento, la demanda de inferencia y la cartera de pedidos existente podrían impulsar el crecimiento de Nvidia y sus competidores.

¿Por qué algunas personas se muestran escépticas?

En un estudio dirigido por la Universidad de Princeton, los principales agentes de IA fueron capaces de llevar a cabo tareas de ingeniería, pero tuvieron dificultades para identificar ideas científicas que merecieran la pena.

Algunos ejecutivos y críticos de Silicon Valley también cuestionan los motivos que se esconden tras estas advertencias, sugiriendo que, por un lado, avivan el interés por la tecnología y, por otro, preparan el terreno para una regulación que aumentaría los costes de los competidores, justo cuando los modelos de código abierto están acortando distancias con los sistemas líderes.

David Sacks, que ocupó el cargo de “zar” de la IA y las criptomonedas en la Casa Blanca, ha afirmado que los principales laboratorios podrían estar buscando la “captura regulatoria”, impulsando normas que impongan a los competidores más pequeños costosas cargas de cumplimiento y debiliten la competencia.