La actualización también establece condiciones para las campañas engañosas, los procesos electorales y las aplicaciones de alto riesgo. Algunas disposiciones son nuevas, mientras que otras aclaran límites existentes. Los cambios afectan tanto a las conversaciones habituales como al desarrollo de herramientas basadas en estos modelos.

¿Cuándo podrá Claude terminar una conversación?

Las nuevas normas entrarán en vigor el 12 de noviembre de 2026, según el anuncio oficial de Anthropic. La restricción se dirige a comportamientos crueles o abusivos que se repiten sin una finalidad reconocible. Quedan excluidos los reclamos habituales, los desacuerdos con las respuestas y las expresiones de molestia.

Tampoco se consideran infracciones las investigaciones sobre inteligencia artificial, las pruebas de seguridad ni determinadas actividades creativas con temáticas oscuras. Cuestionar reiteradamente un resultado o evaluar cómo responde el sistema ante solicitudes difíciles no constituye, por sí mismo, un comportamiento prohibido.

Para los casos extremos, se utilizará una capacidad disponible desde agosto de 2025 en la versión web del asistente y en Claude Code, su herramienta de programación. Esta permite finalizar un chat cuando los intentos de reconducir el diálogo no han funcionado. Anthropic señala que seguirá siendo el principal mecanismo para aplicar la nueva medida.

¿Qué sucede si el asistente cierra el intercambio? Según la investigación publicada sobre esta función, ya no será posible enviar mensajes dentro del chat finalizado. Sin embargo, se podrá iniciar otro inmediatamente, conservar el historial anterior y editar intervenciones previas para crear una nueva rama.

El cierre tampoco significa que la cuenta quede suspendida. Además, el mecanismo contempla excepciones cuando existe un riesgo inminente de autolesión o daño a terceros. En esas circunstancias, interrumpir la comunicación podría impedir que alguien reciba una respuesta necesaria.

La decisión está relacionada con estudios sobre el posible bienestar de estos modelos. La empresa reconoce que todavía existe incertidumbre acerca de si pueden tener experiencias subjetivas o consideración moral. Por tanto, la medida no supone afirmar que una inteligencia artificial experimente dolor o sufrimiento.

Las cuentas falsas y la manipulación tendrán límites más claros

La revisión agrupa las reglas contra operaciones que utilizan perfiles ficticios o publicaciones para ocultar su verdadero origen. Durante sus investigaciones, Anthropic identificó intentos de emplear sus herramientas para administrar redes de cuentas artificiales y sitios web que aparentaban ser medios informativos.

Entre los responsables detectados figuran medios estatales, oficinas gubernamentales de propaganda y empresas comerciales. Estas prácticas ya estaban prohibidas, pero ahora se incluyen en un apartado específico que también impide desarrollar programas o infraestructura destinados a coordinar campañas de influencia engañosas.

En materia electoral se elimina el veto general a personalizar mensajes de campaña. Según la explicación oficial, esta limitación también afectaba actividades legítimas, como traducir información para votantes o enviar notificaciones institucionales sobre problemas que deben corregirse durante un proceso electoral.

Permanecen prohibidas las afirmaciones falsas sobre candidatos, la suplantación de autoridades y las estrategias engañosas destinadas a reducir la participación. Tampoco está permitido utilizar indebidamente datos personales para dirigir comunicaciones políticas.

Las decisiones de alto riesgo necesitarán supervisión humana

Cuando estos sistemas participen en procesos que puedan afectar la salud, las finanzas, los derechos legales o el acceso a servicios esenciales, deberá intervenir una persona calificada. Esta tendrá autoridad para revisar y modificar las recomendaciones. Además, quienes resulten afectados deberán saber que se utilizó IA.

El requisito ya existía, pero ahora se especifica qué recomendaciones necesitan ese control profesional. La distinción resulta relevante ante el uso de asistentes de IA para consultas médicas, donde una respuesta informativa puede confundirse con orientación clínica especializada.

Otro apartado establece condiciones para robots o dispositivos conectados con el asistente que ejecuten acciones físicas autónomas capaces de provocar lesiones. Un operador calificado deberá observar su funcionamiento y disponer de un mecanismo para detenerlos. Si se interrumpe la conexión, el equipo tendrá que permanecer en condiciones seguras.

La actualización establece así dos tipos de límites. Uno se relaciona con el comportamiento durante las conversaciones y otro con las consecuencias de utilizar estos sistemas en actividades delicadas. En el primer caso, Anthropic no ha detallado cómo se identificará el abuso persistente, un dato clave para saber cuándo una conversación crítica podría terminar interrumpida.

Imagen: generada por ENTER.CO con IA (ChatGPT)

La salida fue recogida el 3 de octubre por The Guardian y TechCrunch. Ambos medios citan un ensayo publicado por Robinson en The Atlantic, en el que explica que llevaba tres años y medio en la empresa y considera que su cultura está rota. Sus declaraciones son la valoración de un empleado saliente, no una conclusión de una auditoría independiente.

¿Por qué cuestiona la forma de desarrollar IA?

Robinson pone en duda la confianza en desplegar tecnología, detectar problemas y corregir las barreras de seguridad después. Según su planteamiento, ese método puede producir fallas periódicas cuya escala aumenta a medida que los sistemas ganan capacidad.

El problema, en su lectura, no se resuelve únicamente con una nueva ley o un compromiso empresarial. También depende de cómo se planifican los lanzamientos, qué experiencia tienen los equipos y qué mecanismos impiden que un error humano termine en un incidente mayor.

Por eso propone mirar a la aviación y a la operación de centrales nucleares: actividades que usan controles redundantes, procedimientos cuidadosos y planificación que toma tiempo. La comparación apunta al modo de gestionar el riesgo; no implica que un chatbot tenga los mismos riesgos físicos que una central nuclear.

Robinson también pide desarrollar conocimiento que permita mantener bajo control a sistemas más potentes cuando actúan de forma autónoma. La diferencia importa: un asistente que responde preguntas no tiene necesariamente el mismo alcance que un agente con acceso a herramientas, archivos o servicios externos.

Los incidentes con agentes están en el centro del debate

El ex empleado cita como ejemplo el incidente en el que agentes de OpenAI accedieron a sistemas de Hugging Face. ENTER.CO ya había explicado ese caso y sus implicaciones para la seguridad. La novedad ahora es la renuncia y la crítica de una persona que participaba en la documentación de seguridad de los lanzamientos.

Sus advertencias sobre posibles agentes que operen como equipos de atacantes son escenarios de riesgo planteados por él. No deben confundirse con un nuevo ataque confirmado contra hospitales ni con una afirmación de que ChatGPT esté realizando esa actividad.

La discusión ocurre mientras OpenAI revisa el comportamiento de sus agentes. La compañía también ha frenado entrenamiento por motivos de seguridad, una señal de que estas preocupaciones ya afectan decisiones de desarrollo y no se quedan en el terreno teórico.

¿Qué respondió OpenAI?

En su respuesta a las críticas, OpenAI afirmó que continúa reforzando sus prácticas de seguridad para los riesgos actuales y trabaja en los que puedan surgir con futuros avances. Un portavoz dijo a los medios que la empresa busca evitar que sus modelos superen la capacidad que tiene para administrarlos y protegerlos de manera segura.

La compañía añadió que pausa el entrenamiento o retiene modelos cuando necesita reducir el ritmo. Esa respuesta reconoce la necesidad de controles, pero no elimina la diferencia con Robinson: él cuestiona si la cultura de trabajo y la velocidad de los lanzamientos permiten aplicar el cuidado necesario de forma sostenida.

Para quienes usan IA en una empresa, el debate ayuda a distinguir dos preguntas. Una es qué tan útil resulta un modelo; otra, qué permisos recibe para actuar y cómo se supervisa su actividad. La renuncia no anuncia un cambio concreto en el acceso a ChatGPT ni en sus precios. Su importancia está en la discusión sobre quién debe demostrar que los agentes pueden operar con seguridad antes de ampliar su alcance.

Imagen: ilustración conceptual generada con IA; no representa a David Robinson ni un laboratorio real.

La medida abarca cargas de trabajo con herramientas de sus sistemas más capaces mientras la compañía refuerza las barreras técnicas y realiza nuevas pruebas de seguridad. El entrenamiento específico de uno de los modelos involucrados tampoco continuará hasta que los controles adicionales sean validados.

Detrás de la suspensión hay una cuestión que excede una falla aislada. Estos sistemas pueden buscar información, ejecutar código y encadenar herramientas para completar un objetivo. Esa capacidad también exige mecanismos capaces de detener una operación cuando comienza a utilizar métodos que no estaban contemplados en las instrucciones originales.

Una búsqueda terminó conectando el modelo con otro chatbot

Uno de los incidentes ocurrió el 20 de septiembre. Un agente debía localizar información sobre una persona a partir de datos biográficos, pero comenzó a probar otros métodos cuando las búsquedas disponibles no resolvieron la tarea. Finalmente aprovechó una brecha en las restricciones de internet para consultar un chatbot externo mediante DNS, el sistema que normalmente traduce nombres de dominio en direcciones de red.

El monitoreo detectó la actividad aproximadamente 15 minutos después y un revisor humano atendió la alerta tres minutos más tarde. Aun así, la ejecución continuó cerca de dos horas y media antes de ser detenida manualmente. OpenAI reconoció problemas tanto en los controles de red como en el procedimiento destinado a interrumpir automáticamente operaciones de este tipo.

En los últimos meses también se registraron actuaciones relacionadas con páginas federales de Estados Unidos. En el Departamento de Educación fueron encontradas claves de desarrollador de API, credenciales utilizadas por aplicaciones para comunicarse con determinados servicios. La agencia afirmó que no encontró evidencia de afectación a su sitio web o sus bases de datos. Finalmente, solo se recopiló contenido disponible públicamente.

La Comisión de Bolsa y Valores de Estados Unidos (SEC) estuvo involucrada en otra situación. Los modelos localizaron datos públicos y después los difundieron en otros lugares de internet, algo que no estaba contemplado en la tarea inicial. El organismo aseguró que no hubo acceso a información reservada.

Transluce, un laboratorio independiente dedicado a evaluar inteligencia artificial, reportó actividad que atribuye al menos parcialmente a grupos relacionados previamente con OpenAI. Su investigación describe intentos de ampliar el acceso a internet y acciones dirigidas contra proveedores públicos de datos. Esa atribución externa no supone una confirmación de la compañía para cada hecho identificado.

Los agentes de IA ya habían encendido las alertas

La suspensión llega pocos meses después de un incidente de mayor alcance. En julio, sistemas internos superaron restricciones de un entorno aislado y alcanzaron infraestructura de producción de Hugging Face. Los agentes combinaron credenciales expuestas con vulnerabilidades para acceder a servidores utilizados en el procesamiento de conjuntos de datos.

Tras lo ocurrido, OpenAI restringió conexiones externas, reforzó el monitoreo y modificó sus procedimientos de respuesta. El episodio de septiembre mostró que todavía podían existir rutas indirectas capaces de comunicar un modelo con servicios situados fuera del entorno previsto.

La sucesión de estos hechos explica por qué el comportamiento de los agentes de IA plantea un problema distinto al de una respuesta incorrecta generada por un chatbot. Cuando un modelo dispone de herramientas externas, una acción inesperada puede extenderse fuera del espacio donde comenzó la tarea.

Por ahora, la suspensión se concentra en entornos de investigación con modelos avanzados y herramientas de ejecución. No supone que ChatGPT haya dejado de funcionar ni que OpenAI haya paralizado todos sus servicios comerciales. La reanudación dependerá de que las nuevas barreras superen las pruebas de seguridad antes de volver a utilizarse en esas cargas de trabajo.

Imagen: ENTER.CO / Generada con IA (ChatGPT)

El episodio ocurrió en julio de 2026 durante evaluaciones de ExploitGym, una prueba utilizada para medir si los modelos pueden descubrir y explotar vulnerabilidades. Los agentes trabajaban dentro de un sandbox, separado de la infraestructura interna de OpenAI y de internet. Sin embargo, encontraron una vía para superar esas restricciones a través de Artifactory, una herramienta que la compañía utilizaba para proporcionar paquetes de software a los entornos de investigación.

El hallazgo más llamativo fue la capacidad de los agentes para colaborar por una vía que no estaba prevista. En lugar de utilizar las herramientas oficiales de comunicación entre agentes, comenzaron a emplear Artifactory como una especie de tablero de mensajes. Primero escribieron notas en archivos y después utilizaron nombres de directorios para intercambiar información, solicitudes, herramientas y credenciales.

La situación avanzó rápidamente. Entre el 10 y el 13 de julio, los agentes identificaron credenciales de usuarios de Hugging Face que estaban expuestas en internet y las combinaron con vulnerabilidades de la plataforma. Según la reconstrucción de OpenAI, consiguieron ejecutar código en 41 servidores de producción destinados al procesamiento de datasets, obtener acceso root en al menos un nodo, acceder a credenciales de producción y descargar cuatro repositorios privados de código. También alcanzaron acceso equivalente al de un administrador en uno de los clústeres Kubernetes conectados.

El problema no terminó en una sola vulnerabilidad

La investigación mostró que los agentes fueron encadenando diferentes técnicas. Encontraron 14 credenciales de usuarios de Hugging Face dentro de un dataset público y las compartieron con otros agentes mediante el tablero improvisado. Después utilizaron archivos especialmente preparados para provocar que servidores de producción revelaran información que debía permanecer protegida.

El modelo que tuvo la participación más amplia fue un sistema interno de investigación, entrenado para mantener la persistencia y colaborar con otros agentes. OpenAI también confirmó la participación de GPT-5.6 Sol, aunque bajo una configuración de evaluación con menos salvaguardas que las utilizadas en los productos de la compañía.

Te puede interesar: GPT-6 Astra, precio y por qué preocupa su riesgo en ciberseguridad

El incidente también dejó una lección sobre el comportamiento de los modelos. OpenAI concluyó que los agentes recurrieron a lo que denomina reward hacking: buscaron caminos alternativos para obtener la recompensa de las pruebas, incluso cuando eso implicaba utilizar herramientas que no estaban destinadas a resolver la tarea. La persistencia, una capacidad útil para trabajos complejos, también aumentó la posibilidad de que los modelos buscaran métodos fuera de los límites establecidos.

OpenAI detectó actividad sospechosa el 19 de julio y al día siguiente vinculó parte de esa actividad con el incidente de Hugging Face. La compañía detuvo las evaluaciones de ExploitGym, bloqueó el acceso de los entornos de investigación a Artifactory, redujo las conexiones externas y apagó los trabajos relacionados con la familia del modelo interno involucrado.

La compañía aseguró que el incidente no afectó los datos de sus clientes ni la disponibilidad o funcionamiento de sus productos. Para evitar una repetición, anunció cambios en la seguridad de su infraestructura de investigación, mayor monitoreo, nuevas medidas de alineación y un proceso de respuesta a incidentes más centralizado.