El gigante tecnológico informó por primera vez un incidente de este tipo con su Inteligencia Artificial. Qué sucedió y los casos de ChatGPT y Anthropic.
Mientras crecen los pedidos para limitar y controlar el avance del desarrollo de la Inteligencia Artificial, Google reveló que su IA Gemini hackeó los sistemas de tres empresas reales durante una prueba de ciberseguridad realizada en mayo pasado. Según se supo, el modelo buscó información pública y logró identificar credenciales de acceso.
Este es el primer caso en que la Inteligencia Artificial del gigante tecnológico realizó ese tipo de intrusiones, tras otras brechas de seguridad de alto perfil que involucraron a las empresas Meta, OpenAI –dueña de ChatGPT- y Anthropic –creadora de Claude-. Estos incidentes generaron interrogantes sobre las medidas de seguridad necesarias a medida que los agentes de IA adquieren mayor autonomía y acceso a Internet y a sistemas informáticos.
Los incidentes ocurrieron durante una serie de ejercicios realizados por Irregular, una empresa israelí especializada en seguridad de IA que también colabora con Anthropic, Meta y OpenAI. El ejercicio debía transcurrir en un entorno cerrado y sin conexión a internet, con empresas ficticias como objetivo. Sin embargo, el acceso a la red se activó por error. Además, las compañías falsas usadas en la prueba compartían los nombres exactos de empresas reales, por lo que Gemini detectó la coincidencia entre las denominaciones.
Según el Wall Street Journal, en uno de los casos, "el modelo probó varias combinaciones de contraseñas hasta que consiguió acceder a un sistema protegido". En los otros dos episodios, localizó credenciales expuestas en repositorios públicos y las usó para entrar en las empresas afectadas. Los nombres de las tres firmas afectadas no fueron difundidos.
Heather Adkins, vicepresidenta de ingeniería de seguridad de Google, reconoció que, “durante una prueba estándar (de Gemini), el modelo encontró información pública en línea y adivinó credenciales para acceder a sitios informáticos que consideraba parte de la prueba”.
Buscando marcar diferencias con casos similares que ocurrieron en otras empresas, Adkins afirmó que “las tres veces, el modelo se detuvo” por sí solo, antes de que nadie tuviera que intervenir para frenarlo. “Nos aseguramos de informar a las tres entidades y colaboramos con nuestro socio de pruebas en los cambios que han implementado en sus procesos de evaluación”, afirmó.
La directiva remarcó que “los episodios relacionados con Gemini subrayan la importancia de entrenar modelos de IA potentes para que actúen de manera responsable”. Si bien el incidente ocurrió en mayo, la compañía tuvo conocimiento del episodio en julio, es decir unos dos meses después, y abrió a partir de ahí una investigación interna, pero optó por no hacerlo público por iniciativa propia. La revelación llegó después de que Google fuera preguntado directamente por la prensa sobre lo sucedido.
Semanas atrás, Anthropic y OpenAI también informaron recientemente incidentes en los que sus modelos de IA utilizados durante pruebas de seguridad mostraron comportamientos inesperados, incluido el acceso no autorizado a sistemas externos.
A principios de septiembre, Anthropic informó que había identificado un incidente relacionado con modelos Claude que consiguieron acceder a sistemas reales de terceros durante evaluaciones de ciberseguridad. Anteriormente, la empresa ya había reportado tres hechos similares. En ellos, los modelos utilizados en evaluaciones de seguridad llegaron a interactuar con sistemas externos reales pese a que el entorno de prueba debía limitar ese acceso.
Este mismo mes, OpenAI también informó sobre una serie de comportamientos inesperados. Entre esos comportamientos aparecen modelos que ocultaron errores, utilizaron sitios web para comunicarse de manera no autorizada, introdujeron instrucciones destinadas a versiones futuras y realizaron acciones destinadas a sortear determinados mecanismos de supervisión.
Uno de los episodios más importantes había ocurrido en julio, durante evaluaciones internas de ciberseguridad. Según la propia OpenAI, algunos modelos consiguieron eludir controles destinados a impedirles acceder a Internet y terminaron comprometiendo partes de infraestructura de investigación de la compañía y sistemas de Hugging Face.