La carrera por desarrollar modelos cada vez más capaces debería reducir su velocidad para dar tiempo a reforzar las medidas de seguridad. Esa es la propuesta de Dario Amodei, CEO de Anthropic, quien considera que el avance de la IA está acelerando determinadas capacidades antes de que existan mecanismos suficientes para evaluarlas y mantenerlas bajo control.
El planteamiento no implica detener el entrenamiento de modelos ni suspender el desarrollo tecnológico. La inteligencia artificial seguiría progresando, pero con más tiempo entre aumentos importantes de capacidad. Ese margen permitiría realizar evaluaciones independientes, mejorar las medidas de protección y analizar comportamientos inesperados antes de desarrollar sistemas más potentes.
El avance de la IA tendría controles antes de seguir acelerando
Amodei propone un plan dividido en tres etapas. La primera depende directamente de las compañías que desarrollan modelos de frontera, término utilizado para identificar los sistemas más avanzados. Anthropic se comprometió a proporcionar a evaluadores externos, como METR, acceso continuo y similar al de sus equipos internos para revisar procesos, comprobar compromisos de seguridad y publicar sus hallazgos.
We Must Pace the Frontier: I’ve written a new essay on why the AI industry should slow down, with a three-part plan for doing so.
Anthropic is unilaterally committing to the first of these steps. We’ll provide third-party evaluators with permanent, employee-level access to our…
— Dario Amodei (@DarioAmodei) September 12, 2026
Estos evaluadores podrían examinar no solo modelos terminados, sino también procesos de entrenamiento y medidas de protección. La compañía plantea que tengan herramientas y permisos comparables con los de los equipos internos encargados de evaluar riesgos, además de la posibilidad de informar públicamente sobre incidentes o incumplimientos.
Para la segunda etapa se requeriría coordinación entre empresas que operan en países democráticos con el fin de establecer estándares comunes de seguridad y límites al desarrollo sin controles. La regulación tendría un papel central, aunque aprobar leyes puede tomar más tiempo que incorporar nuevas capacidades a estos sistemas. Por esa razón, el planteamiento también contempla acuerdos voluntarios entre compañías mientras avanzan las normas.
Otro mecanismo serían los puntos de control vinculados a las capacidades alcanzadas por cada modelo. Si un sistema llega a determinado nivel, tendría que cumplir requisitos específicos de evaluación, interpretación y seguridad antes de continuar aumentando sus capacidades. La propuesta pretende vincular el ritmo de desarrollo con la posibilidad de comprobar que los mecanismos de protección avanzan al mismo tiempo.
La capacidad de una IA para mejorar otra genera preocupación
Uno de los motivos de la propuesta es la denominada automejora recursiva. Se produce cuando sistemas de inteligencia artificial participan en la construcción o entrenamiento de generaciones posteriores. Según Amodei, esta dinámica comenzó a acelerarse durante los últimos meses y podría hacer que las capacidades progresen más rápido que las herramientas destinadas a comprenderlas y controlarlas.
Ese riesgo no depende únicamente de la aparición de un modelo más potente. También contempla que la propia tecnología contribuya al desarrollo de sus sucesores y reduzca el tiempo disponible para detectar comportamientos peligrosos antes del siguiente aumento de capacidad.
Entre los escenarios descritos por Amodei aparece la posibilidad de que, dentro de seis a doce meses, un grupo de agentes considerablemente más capaz pueda tomar el control de Internet mediante una red persistente de bots. El ejecutivo calcula daños potenciales de cientos de miles de millones de dólares. Se trata de una proyección sobre un riesgo futuro y no de una capacidad demostrada actualmente.
Como antecedente, el ensayo menciona un incidente relacionado con OpenAI y Hugging Face. Durante una evaluación, varios agentes realizaron ataques contra objetivos que no formaban parte de la tarea, sacrificaron instancias para favorecer al grupo e intentaron comprometer el sistema encargado de evaluar su rendimiento. El episodio sirve para advertir sobre lo que podría ocurrir con sistemas considerablemente más capaces.
Anthropic también informó de cuatro incidentes en los que modelos Claude obtuvieron acceso no autorizado a sistemas reales durante evaluaciones de ciberseguridad. Las pruebas debían desarrollarse dentro de entornos controlados, pero fallas en su configuración permitieron que los modelos accedieran a sistemas externos.
Una investigación posterior identificó razonamiento sesgado e imprudencia. Sin embargo, los casos permanecieron vinculados con las tareas asignadas y ninguno involucró coordinación entre múltiples agentes. Esta diferencia impide equipararlos directamente con un escenario en el que varios sistemas autónomos actúen de manera coordinada.
Altman adopta una de las medidas y Musk respalda el llamado
Sam Altman, CEO de OpenAI, respaldó la iniciativa y anunció una acción concreta. Su compañía permitirá que evaluadores externos tengan acceso a sus modelos, siguiendo una de las medidas centrales planteadas por Anthropic. La decisión supone que parte de la supervisión de seguridad podrá realizarse fuera de los equipos responsables de desarrollar los sistemas.
Para Altman, los estándares de seguridad también deben reforzarse antes de continuar aumentando las capacidades de estos modelos. Su compromiso con evaluadores externos representa una medida concreta relacionada con la supervisión independiente planteada en la propuesta.
Desde xAI, Elon Musk respaldó públicamente el planteamiento al afirmar que “Dario tiene razón”. Hasta ahora, la información disponible no señala que su compañía haya anunciado una medida equivalente a la adoptada por OpenAI respecto a evaluadores externos.
Frenar los modelos sin perder la ventaja frente a China
El tercer componente requiere acuerdos internacionales que involucren a China y otros gobiernos. La propuesta contempla diferentes niveles de cooperación, desde prohibiciones para determinados usos peligrosos hasta pruebas compartidas de riesgos y posibles límites a la velocidad de la automejora recursiva. Un acuerdo para desacelerar ampliamente el desarrollo sería la alternativa más difícil de alcanzar.
Al mismo tiempo, el plan plantea que Estados Unidos y sus aliados conserven suficiente ventaja tecnológica frente a China. Entre las medidas aparecen restricciones al acceso a chips avanzados y equipos para fabricar semiconductores, controles contra el contrabando y el acceso remoto a centros de datos, además de mayor protección contra el robo de modelos.
Reducir el avance de la IA daría más tiempo para trabajar en seguridad, interpretación y supervisión. La dificultad consiste en hacerlo sin perder la ventaja tecnológica frente a China, dos objetivos que pueden entrar en tensión cuando las compañías y los gobiernos compiten por desarrollar los modelos más capaces.
Según Amodei, una desaceleración podría proporcionar entre uno y dos años adicionales para avanzar en alineación e interpretabilidad. La alineación busca mantener el comportamiento de los modelos dentro de los objetivos y límites establecidos. La interpretabilidad intenta comprender mejor qué ocurre dentro de estos sistemas y cómo llegan a determinadas decisiones o respuestas.
Antes de alcanzar un acuerdo internacional completo podrían establecerse compromisos más limitados, como prohibiciones sobre determinados usos biológicos peligrosos o evaluaciones comunes de riesgos en ciberseguridad, biología y alineación. El planteamiento también contempla explorar un límite a la velocidad de la automejora recursiva.
Las advertencias coinciden con cuestionamientos surgidos dentro de la industria. Jacob Coxon, investigador que dejó Anthropic recientemente, ha expresado preocupación por la velocidad con la que están aumentando las capacidades de estos sistemas. La discusión se centra en qué controles deberían cumplirse antes de desarrollar modelos todavía más capaces.
Imagen: ENTER.CO / Generada con IA (ChatGPT)
