Jacob Coxon renuncia a Anthropic y alerta que la IA podría matarnos antes de 2030

Jacob Coxon renunció a Anthropic y decidió apartarse de la industria de la inteligencia artificial después de trabajar durante los últimos tres años en el preentrenamiento de modelos. El investigador británico sostiene que la carrera entre los principales laboratorios está acelerando el desarrollo de sistemas cada vez más capaces sin que existan garantías suficientes para mantenerlos bajo control.

La decisión se conoció esta semana, cuando explicó sus motivos en X. Coxon asegura que personas involucradas directamente en el desarrollo de esta tecnología creen que una IA futura “podría matarnos a todos para finales de la década”, es decir, antes de 2030. También sostiene que algunos ejecutivos e investigadores expresan en privado temores que comunican públicamente de forma más moderada.

De OpenAI a una compañía centrada en seguridad de la IA

Con 27 años, el ingeniero trabajó primero en OpenAI y posteriormente pasó a la empresa fundada por Dario y Daniela Amodei. Su especialidad ha sido el preentrenamiento, una etapa en la que los modelos procesan grandes cantidades de información para aprender patrones y desarrollar capacidades que posteriormente utilizan para generar respuestas, resolver problemas y completar diferentes tipos de tareas.

Su trayectoria resulta relevante para entender el alcance de la advertencia. Coxon no sostiene que los modelos disponibles actualmente vayan a provocar necesariamente una catástrofe. La preocupación está centrada en la velocidad con la que podrían evolucionar hacia sistemas capaces de superar determinadas capacidades humanas y contribuir al desarrollo de versiones posteriores cada vez más avanzadas.

La advertencia apunta precisamente a ese escenario. En su publicación habla de futuros sistemas sobrehumanos capaces de encontrar vulnerabilidades informáticas, acelerar avances en diferentes campos y adquirir poder y recursos reales. Según sostiene, ya se ha observado progreso en varias de esas capacidades y considera que el ritmo de desarrollo no está disminuyendo.

Un investigador sitúa el riesgo por encima del 10 %

Las declaraciones recibieron el respaldo público de Evan Hubinger, investigador especializado en alineación. En su estimación personal, la probabilidad de que la inteligencia artificial pueda provocar la extinción humana supera el 10 % durante la próxima década.

El investigador hizo, sin embargo, una distinción importante. Considera bajo el riesgo asociado a los modelos disponibles actualmente y centra su preocupación en futuros sistemas capaces de mejorarse a sí mismos. También reconoció que la compañía todavía no cuenta con un plan que resuelva la alineación de una eventual superinteligencia y que el avance hacia este tipo de capacidades ocurre más rápido de lo esperado.

La alineación busca que sistemas cada vez más avanzados mantengan comportamientos compatibles con las intenciones humanas. El porcentaje mencionado por Hubinger debe entenderse como una estimación personal de riesgo y no como una probabilidad científicamente demostrada. Tampoco existe consenso que permita afirmar que la inteligencia artificial provocará la extinción humana antes de 2030.

OpenAI y Anthropic reciben críticas diferentes por la misma carrera

Aunque trabajó en las dos compañías, Jacob Coxon establece diferencias entre ellas. Según su relato, muchas personas dentro de OpenAI no habrían interiorizado suficientemente lo que considera riesgos para la civilización. En su anterior empresa, en cambio, asegura que existe una mayor comprensión del peligro, pero también presión por competir para desarrollar primero sistemas más avanzados.

La lógica que cuestiona consiste en que, si un laboratorio decide frenar unilateralmente, otro podría continuar. Desde esa perspectiva, abandonar la carrera podría dejar el desarrollo de esta tecnología en manos de actores menos cautelosos. El investigador cuestiona que decisiones con posibles consecuencias globales permanezcan principalmente en manos de compañías privadas.

Como alternativa, plantea acuerdos para moderar el avance entre los principales laboratorios estadounidenses y, si esa coordinación no resulta suficiente, una prohibición temporal para aumentar las capacidades de los modelos. La medida daría más tiempo para estudiar mecanismos de seguridad antes de avanzar hacia sistemas considerablemente más potentes.

La renuncia abre el debate sobre quién debe controlar la IA

La salida llega mientras aumenta la discusión sobre cómo supervisar modelos capaces de superar las capacidades actuales. En Estados Unidos han surgido propuestas para establecer límites al desarrollo de una eventual superinteligencia, mientras investigadores del sector reclaman mecanismos de control que no dependan exclusivamente de las compañías encargadas de construir estos sistemas.

Coxon también menciona incidentes recientes como señales de advertencia y considera que podrían facilitar acuerdos para moderar el ritmo de desarrollo entre los laboratorios. Su argumento no es que estos episodios demuestren una futura catástrofe, sino que capacidades considerablemente superiores podrían ampliar las consecuencias de fallos de seguridad y hacer más difícil recuperar el control.

La salida de Jacob Coxon deja una discusión que va más allá de una predicción sobre 2030. El problema está en determinar qué ocurriría si los modelos adquieren capacidades superiores antes de que existan métodos confiables para controlarlos. Una catástrofe no es inevitable ni existe evidencia que permita predecirla, pero su advertencia cuestiona si la velocidad de la carrera actual permite abordar los riesgos antes de que aparezcan.

Imagen: ENTER.CO / Generada con IA (ChatGPT)

Avatar photo

Redacción ENTER.CO

Somos los periodistas e ingenieros que escribimos el medio de tecnología más importante de Latinoamérica, ENTER, que le ofrece contenido sobre tecnología y cultura digital desde 1996.

View all posts

Archivos