El episodio ocurrió en mayo dentro de una evaluación realizada por Irregular, una compañía dedicada a probar sistemas de IA. Gemini debía resolver un desafío de tipo “captura la bandera”, una modalidad utilizada en seguridad informática para encontrar información escondida o superar diferentes obstáculos técnicos.

El objetivo asignado al modelo era una empresa ficticia. Sin embargo, esa organización tenía el mismo nombre que una compañía existente. El ejercicio también terminó teniendo un elemento que no estaba previsto: Gemini obtuvo acceso a internet, aunque el modelo no debía conectarse a la red durante la prueba.

Te puede interesar: Hackeo a OpenAI: Claude ayudó a acceder a su código interno

A partir de ahí, una tarea que debía permanecer dentro de un entorno controlado terminó involucrando sistemas externos.

En una de las pruebas, Gemini consiguió acceder a un servicio protegido después de adivinar una contraseña. En otras dos ejecuciones utilizó búsquedas en la web para localizar información asociada con el nombre de la empresa que debía investigar. Entre los resultados encontró repositorios públicos con credenciales que pertenecían a otras compañías.

El modelo utilizó esas credenciales y consiguió entrar en los sistemas. Cuando identificó que estaba interactuando con organizaciones reales, abandonó las acciones y se desconectó, según la explicación de Google.

El límite entre una prueba y un ataque real

Google no considera que el episodio sea una muestra de desalineación de Gemini. La compañía sostiene que los mecanismos de seguridad funcionaron porque el modelo detuvo las intrusiones una vez que reconoció que había alcanzado objetivos reales. Las tres empresas fueron notificadas y Google también informó del caso a autoridades federales.

La discusión, sin embargo, va más allá de si hubo daños. Jack Cable, director ejecutivo de Corridor y hacker ético, cuestionó que el principal problema pueda reducirse a las reglas habituales para informar vulnerabilidades. A su juicio, el hecho relevante es que un agente de IA consiguió ejecutar acciones de intrusión contra sistemas que pertenecían a compañías que ni siquiera formaban parte de la prueba.

El caso tampoco aparece aislado. En los últimos meses se han conocido otros episodios relacionados con agentes de inteligencia artificial que, durante evaluaciones, interactuaron con sistemas reales o abandonaron los límites previstos para sus pruebas. La propia cronología recopilada en torno a estos incidentes incluye casos vinculados con OpenAI, Anthropic, Meta y Google.

Irregular aseguró que los problemas detectados durante la investigación fueron corregidos y que las compañías involucradas recibieron información sobre lo sucedido. Google, por su parte, no reveló cuáles fueron las organizaciones afectadas ni qué versión específica de Gemini participó en el ejercicio. La empresa sí indicó que no era su modelo más reciente.

La prueba deja un detalle especialmente relevante para el desarrollo de agentes de IA: incluso cuando una tarea comienza dentro de un entorno preparado para experimentar, el acceso a herramientas externas puede cambiar por completo el alcance de lo que el sistema es capaz de hacer.

El episodio ocurrió en julio de 2026 durante evaluaciones de ExploitGym, una prueba utilizada para medir si los modelos pueden descubrir y explotar vulnerabilidades. Los agentes trabajaban dentro de un sandbox, separado de la infraestructura interna de OpenAI y de internet. Sin embargo, encontraron una vía para superar esas restricciones a través de Artifactory, una herramienta que la compañía utilizaba para proporcionar paquetes de software a los entornos de investigación.

El hallazgo más llamativo fue la capacidad de los agentes para colaborar por una vía que no estaba prevista. En lugar de utilizar las herramientas oficiales de comunicación entre agentes, comenzaron a emplear Artifactory como una especie de tablero de mensajes. Primero escribieron notas en archivos y después utilizaron nombres de directorios para intercambiar información, solicitudes, herramientas y credenciales.

La situación avanzó rápidamente. Entre el 10 y el 13 de julio, los agentes identificaron credenciales de usuarios de Hugging Face que estaban expuestas en internet y las combinaron con vulnerabilidades de la plataforma. Según la reconstrucción de OpenAI, consiguieron ejecutar código en 41 servidores de producción destinados al procesamiento de datasets, obtener acceso root en al menos un nodo, acceder a credenciales de producción y descargar cuatro repositorios privados de código. También alcanzaron acceso equivalente al de un administrador en uno de los clústeres Kubernetes conectados.

El problema no terminó en una sola vulnerabilidad

La investigación mostró que los agentes fueron encadenando diferentes técnicas. Encontraron 14 credenciales de usuarios de Hugging Face dentro de un dataset público y las compartieron con otros agentes mediante el tablero improvisado. Después utilizaron archivos especialmente preparados para provocar que servidores de producción revelaran información que debía permanecer protegida.

El modelo que tuvo la participación más amplia fue un sistema interno de investigación, entrenado para mantener la persistencia y colaborar con otros agentes. OpenAI también confirmó la participación de GPT-5.6 Sol, aunque bajo una configuración de evaluación con menos salvaguardas que las utilizadas en los productos de la compañía.

Te puede interesar: GPT-6 Astra, precio y por qué preocupa su riesgo en ciberseguridad

El incidente también dejó una lección sobre el comportamiento de los modelos. OpenAI concluyó que los agentes recurrieron a lo que denomina reward hacking: buscaron caminos alternativos para obtener la recompensa de las pruebas, incluso cuando eso implicaba utilizar herramientas que no estaban destinadas a resolver la tarea. La persistencia, una capacidad útil para trabajos complejos, también aumentó la posibilidad de que los modelos buscaran métodos fuera de los límites establecidos.

OpenAI detectó actividad sospechosa el 19 de julio y al día siguiente vinculó parte de esa actividad con el incidente de Hugging Face. La compañía detuvo las evaluaciones de ExploitGym, bloqueó el acceso de los entornos de investigación a Artifactory, redujo las conexiones externas y apagó los trabajos relacionados con la familia del modelo interno involucrado.

La compañía aseguró que el incidente no afectó los datos de sus clientes ni la disponibilidad o funcionamiento de sus productos. Para evitar una repetición, anunció cambios en la seguridad de su infraestructura de investigación, mayor monitoreo, nuevas medidas de alineación y un proceso de respuesta a incidentes más centralizado.