El CEO de Anthropic pidió frenar el desarrollo de la IA y Altman y Musk le dijeron que sí

Dario Amodei, director ejecutivo y cofundador de Anthropic, la empresa creadora del asistente de inteligencia artificial Claude, publicó este sábado un extenso ensayo en el que llama a desacelerar el desarrollo de los modelos de IA más avanzados.

Su advertencia central es que la competencia entre las principales compañías tecnológicas del mundo podría llevar a una "carrera hacia el abismo", impulsada por una dinámica que denominó "automejora recursiva": la capacidad de los sistemas de IA para generar la próxima generación de modelos, potencialmente superando la capacidad humana para comprenderlos y controlarlos.

"Debemos reducir el ritmo al que mejoramos las capacidades de los modelos de IA. El progreso seguirá pareciendo rápido y debemos hacer un uso inteligente del tiempo que ganemos", escribió Amodei en su blog. El planteo sorprendió por su contundencia, ya que proviene del CEO de una de las empresas que lidera el desarrollo de IA de frontera, no de un regulador externo o un crítico del sector.

Lo que más sorprendió, sin embargo, fue la reacción de sus principales competidores. Sam Altman, director ejecutivo de OpenAI, respondió en X: "Coincido con Dario en que debemos avanzar a un ritmo adecuado en la frontera tecnológica. Este ha sido un tema central en las conversaciones que hemos mantenido en OpenAI durante las últimas semanas. Comprometerse a contar con evaluadores independientes con un acceso similar al de los empleados es una excelente idea, y nosotros haremos lo mismo". Elon Musk, fundador de xAI, fue más conciso pero igualmente directo: "Dario tiene razón".

El plan de tres pasos de Amodei y la renuncia que precedió el ensayo

Amodei propuso una estrategia de tres pasos para desacelerar el desarrollo de la inteligencia artificial: "Desarrollar IA a un ritmo equilibrado que garantice su seguridad, al tiempo que se obtienen sus beneficios y se abordan importantes dilemas geopolíticos". El primero de esos pasos ya fue adoptado de manera unilateral por Anthropic: la compañía se comprometió a proporcionar a evaluadores externos un acceso permanente a sus sistemas equivalente al que tienen sus propios empleados. El objetivo es que puedan auditar los modelos antes de que se crucen nuevos umbrales de capacidad, no después.

El ensayo de Amodei no llegó en un momento cualquiera. El jueves anterior, un investigador llamado Jacob Coxon había renunciado públicamente a Anthropic alegando que ni esa empresa ni OpenAI "están actuando de manera responsable" y que ambas "están corriendo directamente hacia la superinteligencia que se mejora a sí misma, apostando con nuestras vidas". La renuncia generó revuelo dentro del sector y puso sobre la mesa, con nombre y apellido, el debate que el ensayo de Amodei abordó dos días después.

La preocupación de Amodei se centra específicamente en dos fenómenos. El primero es el ritmo de mejora de los modelos, que se ha acelerado hasta el punto en que los propios sistemas contribuyen a generar las siguientes versiones. El segundo son los "enjambres de agentes": redes de sistemas de IA que actúan de manera autónoma y coordinada, con capacidad para ejecutar tareas complejas sin intervención humana en cada paso, lo que amplifica exponencialmente los riesgos de ciberseguridad.

No está claro hasta dónde llegarán las principales empresas de IA —que son feroces competidoras entre sí y también enfrentan una dura competencia de empresas chinas— en la imposición de nuevos límites o controles de seguridad. Tampoco está claro si los reguladores antimonopolio permitirían que las empresas coordinen el ritmo de desarrollo de alguna manera.

El respaldo simultáneo de Amodei, Altman y Musk a la idea de frenar el ritmo del desarrollo marca un momento inédito en la historia reciente de la industria: los líderes de las tres compañías de IA más influyentes del mundo alineados públicamente en torno a la misma advertencia. Si esa convergencia se traduce en acciones concretas o queda como una declaración de intenciones es la pregunta que el sector tecnológico y los reguladores deberán responder en los próximos meses.