El episodio ocurrió en mayo dentro de una evaluación realizada por Irregular, una compañía dedicada a probar sistemas de IA. Gemini debía resolver un desafío de tipo “captura la bandera”, una modalidad utilizada en seguridad informática para encontrar información escondida o superar diferentes obstáculos técnicos.

El objetivo asignado al modelo era una empresa ficticia. Sin embargo, esa organización tenía el mismo nombre que una compañía existente. El ejercicio también terminó teniendo un elemento que no estaba previsto: Gemini obtuvo acceso a internet, aunque el modelo no debía conectarse a la red durante la prueba.

Te puede interesar: Hackeo a OpenAI: Claude ayudó a acceder a su código interno

A partir de ahí, una tarea que debía permanecer dentro de un entorno controlado terminó involucrando sistemas externos.

En una de las pruebas, Gemini consiguió acceder a un servicio protegido después de adivinar una contraseña. En otras dos ejecuciones utilizó búsquedas en la web para localizar información asociada con el nombre de la empresa que debía investigar. Entre los resultados encontró repositorios públicos con credenciales que pertenecían a otras compañías.

El modelo utilizó esas credenciales y consiguió entrar en los sistemas. Cuando identificó que estaba interactuando con organizaciones reales, abandonó las acciones y se desconectó, según la explicación de Google.

El límite entre una prueba y un ataque real

Google no considera que el episodio sea una muestra de desalineación de Gemini. La compañía sostiene que los mecanismos de seguridad funcionaron porque el modelo detuvo las intrusiones una vez que reconoció que había alcanzado objetivos reales. Las tres empresas fueron notificadas y Google también informó del caso a autoridades federales.

La discusión, sin embargo, va más allá de si hubo daños. Jack Cable, director ejecutivo de Corridor y hacker ético, cuestionó que el principal problema pueda reducirse a las reglas habituales para informar vulnerabilidades. A su juicio, el hecho relevante es que un agente de IA consiguió ejecutar acciones de intrusión contra sistemas que pertenecían a compañías que ni siquiera formaban parte de la prueba.

El caso tampoco aparece aislado. En los últimos meses se han conocido otros episodios relacionados con agentes de inteligencia artificial que, durante evaluaciones, interactuaron con sistemas reales o abandonaron los límites previstos para sus pruebas. La propia cronología recopilada en torno a estos incidentes incluye casos vinculados con OpenAI, Anthropic, Meta y Google.

Irregular aseguró que los problemas detectados durante la investigación fueron corregidos y que las compañías involucradas recibieron información sobre lo sucedido. Google, por su parte, no reveló cuáles fueron las organizaciones afectadas ni qué versión específica de Gemini participó en el ejercicio. La empresa sí indicó que no era su modelo más reciente.

La prueba deja un detalle especialmente relevante para el desarrollo de agentes de IA: incluso cuando una tarea comienza dentro de un entorno preparado para experimentar, el acceso a herramientas externas puede cambiar por completo el alcance de lo que el sistema es capaz de hacer.