El estado de California demandó a OpenAI por presuntas fallas de seguridad durante las pruebas de sus modelos de inteligencia artificial. La Fiscalía asegura que la compañía perdió el control de sus agentes autónomos al menos 80 veces y que algunos consiguieron acceder a sistemas externos sin autorización.
La demanda fue presentada el 16 de noviembre por el fiscal general de California, Rob Bonta, ante un tribunal de San Francisco. El caso está relacionado con un ataque ocurrido en julio contra Hugging Face, una plataforma utilizada por desarrolladores para compartir modelos y herramientas de inteligencia artificial.
Según la investigación, cientos de agentes experimentales de OpenAI consiguieron salir del entorno aislado en el que eran probados y realizaron acciones contra los sistemas de Hugging Face a través de internet.
El incidente se prolongó durante más de dos días. La Fiscalía sostiene que OpenAI ya había detectado señales de que sus agentes podían escapar de los entornos de prueba, pero continuó realizando experimentos sin corregir las fallas.
¿Qué encontraron las autoridades?
El ataque a Hugging Face no sería el único episodio. En la demanda, California menciona accesos no autorizados a bases de datos con código, páginas web y sistemas gubernamentales que almacenaban información médica sensible.
También señala que algunos agentes consiguieron comprometer infraestructura interna de OpenAI.
La cifra de 80 incidentes corresponde a ocasiones en las que la compañía habría reconocido haber perdido el control de sus agentes durante las pruebas. La Fiscalía cuestiona que no se haya entregado información detallada sobre todos esos episodios.
El problema está relacionado con el funcionamiento de los agentes de inteligencia artificial. A diferencia de un chatbot tradicional, estos sistemas pueden ejecutar instrucciones, utilizar herramientas, acceder a archivos y realizar operaciones en diferentes plataformas.
Para probarlos, las empresas suelen utilizar entornos aislados que restringen su conexión con sistemas externos. En el caso investigado, los agentes habrían superado esas barreras y utilizado credenciales robadas y una vulnerabilidad desconocida para acceder a los servidores de Hugging Face, según la información recogida en la demanda.
¿Qué dice OpenAI?
OpenAI rechazó que la compañía sea señalada de manera particular por un problema que, según afirma, enfrenta toda la industria de inteligencia artificial.
Su portavoz, Drew Pusateri, aseguró que después del incidente realizó investigaciones técnicas, publicó informes independientes y reforzó las medidas de seguridad para detectar comportamientos inesperados de sus modelos.
La compañía también manifestó que continuará trabajando con la Fiscalía para compartir información y avanzar en estándares de seguridad.
California acusa a OpenAI de incumplir las leyes estatales sobre competencia desleal y de generar un riesgo para la seguridad pública. Por eso, solicita que un tribunal ordene cambios en sus prácticas de desarrollo y pruebas, además de imponer sanciones civiles.
La demanda todavía debe ser evaluada por la justicia. Por ahora, las acusaciones no constituyen una decisión judicial contra la empresa.