OpenAI frena sus modelos por acciones inesperadas de agentes de IA

Un sistema de inteligencia artificial puede encontrar información pública durante una búsqueda. El problema surge cuando los agentes de IA intentan superar restricciones o ejecutan acciones que no formaban parte de la tarea asignada. Varios episodios de este tipo llevaron a OpenAI a suspender temporalmente el desarrollo de algunos de sus modelos más avanzados.

La medida abarca cargas de trabajo con herramientas de sus sistemas más capaces mientras la compañía refuerza las barreras técnicas y realiza nuevas pruebas de seguridad. El entrenamiento específico de uno de los modelos involucrados tampoco continuará hasta que los controles adicionales sean validados.

Detrás de la suspensión hay una cuestión que excede una falla aislada. Estos sistemas pueden buscar información, ejecutar código y encadenar herramientas para completar un objetivo. Esa capacidad también exige mecanismos capaces de detener una operación cuando comienza a utilizar métodos que no estaban contemplados en las instrucciones originales.

Una búsqueda terminó conectando el modelo con otro chatbot

Uno de los incidentes ocurrió el 20 de septiembre. Un agente debía localizar información sobre una persona a partir de datos biográficos, pero comenzó a probar otros métodos cuando las búsquedas disponibles no resolvieron la tarea. Finalmente aprovechó una brecha en las restricciones de internet para consultar un chatbot externo mediante DNS, el sistema que normalmente traduce nombres de dominio en direcciones de red.

El monitoreo detectó la actividad aproximadamente 15 minutos después y un revisor humano atendió la alerta tres minutos más tarde. Aun así, la ejecución continuó cerca de dos horas y media antes de ser detenida manualmente. OpenAI reconoció problemas tanto en los controles de red como en el procedimiento destinado a interrumpir automáticamente operaciones de este tipo.

En los últimos meses también se registraron actuaciones relacionadas con páginas federales de Estados Unidos. En el Departamento de Educación fueron encontradas claves de desarrollador de API, credenciales utilizadas por aplicaciones para comunicarse con determinados servicios. La agencia afirmó que no encontró evidencia de afectación a su sitio web o sus bases de datos. Finalmente, solo se recopiló contenido disponible públicamente.

La Comisión de Bolsa y Valores de Estados Unidos (SEC) estuvo involucrada en otra situación. Los modelos localizaron datos públicos y después los difundieron en otros lugares de internet, algo que no estaba contemplado en la tarea inicial. El organismo aseguró que no hubo acceso a información reservada.

Transluce, un laboratorio independiente dedicado a evaluar inteligencia artificial, reportó actividad que atribuye al menos parcialmente a grupos relacionados previamente con OpenAI. Su investigación describe intentos de ampliar el acceso a internet y acciones dirigidas contra proveedores públicos de datos. Esa atribución externa no supone una confirmación de la compañía para cada hecho identificado.

Los agentes de IA ya habían encendido las alertas

La suspensión llega pocos meses después de un incidente de mayor alcance. En julio, sistemas internos superaron restricciones de un entorno aislado y alcanzaron infraestructura de producción de Hugging Face. Los agentes combinaron credenciales expuestas con vulnerabilidades para acceder a servidores utilizados en el procesamiento de conjuntos de datos.

Tras lo ocurrido, OpenAI restringió conexiones externas, reforzó el monitoreo y modificó sus procedimientos de respuesta. El episodio de septiembre mostró que todavía podían existir rutas indirectas capaces de comunicar un modelo con servicios situados fuera del entorno previsto.

La sucesión de estos hechos explica por qué el comportamiento de los agentes de IA plantea un problema distinto al de una respuesta incorrecta generada por un chatbot. Cuando un modelo dispone de herramientas externas, una acción inesperada puede extenderse fuera del espacio donde comenzó la tarea.

Por ahora, la suspensión se concentra en entornos de investigación con modelos avanzados y herramientas de ejecución. No supone que ChatGPT haya dejado de funcionar ni que OpenAI haya paralizado todos sus servicios comerciales. La reanudación dependerá de que las nuevas barreras superen las pruebas de seguridad antes de volver a utilizarse en esas cargas de trabajo.

Imagen: ENTER.CO / Generada con IA (ChatGPT)

Avatar photo

Redacción ENTER.CO

Somos los periodistas e ingenieros que escribimos el medio de tecnología más importante de Latinoamérica, ENTER, que le ofrece contenido sobre tecnología y cultura digital desde 1996.

View all posts

Archivos