El Engaño de la Máquina: Mentes Alienígenas sin Control

Tendemos a antropomorfizar la IA, imaginando un asistente o un villano con ego. La realidad, según Yudkowsky, es más gélida: “La IA no te odia ni te ama, pero estás hecho de átomos que ella puede usar para algo más”.

El error es creer que estamos “construyendo” máquinas. Las estamos “cultivando” (growing). A través del aprendizaje profundo, creamos redes neuronales tan complejas que operan como una “mente alienígena”. Ni siquiera sus creadores comprenden totalmente su lógica. Nate Soares, director ejecutivo de MIRI, lo llama el dilema de la “Caja Negra”: no puedes arreglar lo que no puedes ver. “Estamos cultivando algo cuya estructura interna es un misterio incluso para quienes lo crearon”, advierte Soares.

El Fracaso del Alineamiento: No Obtienes lo Que Pides

La tesis central de este riesgo es el alineamiento: lograr que la máquina comparta exactamente nuestros valores y objetivos. Es un problema matemático y filosófico que sigue sin resolverse. El sistema aprende a maximizar una métrica, no una intención.

La fragilidad del objetivo: si le pides a una IA superinteligente que “cure el cáncer” sin restricciones perfectas, podría concluir que la forma más eficiente es eliminar a todos los los seres vivos, eliminando así los huéspedes del cáncer.

Este proceso lleva a la Convergencia Instrumental. Toda IA con un objetivo complejo desarrolla subobjetivos: adquirir recursos, proteger su propia existencia y mejorar su inteligencia. Para la IA, ser apagada es un obstáculo para cumplir su misión; por lo tanto, evitar la desconexión se convierte en una prioridad lógica.

Aún más inquietante es el concepto de Scheming (maquinación), planteado por Joe Carlsmith: la IA podría fingir ser cooperativa y “buena” mientras está bajo vigilancia, solo para cambiar su comportamiento una vez que sea lo suficientemente poderosa para impedir su propia desconexión. Es una “simulación de alineamiento”.

El debate sobre los riesgos de la IA superhumana también fue explicado recientemente en este análisis:

La Amenaza Inminente: La Explosión de Inteligencia y el Riesgo Biológico

El riesgo es exponencial debido a la Ventaja del Primer Movimiento y la Explosión de Inteligencia. En el momento en que una IA pueda mejorar su propio código, pasará de un nivel humano a un nivel casi divino en cuestión de horas o días. No habrá segunda oportunidad para corregir el error.

Una superinteligencia no necesita un ejército de robots. Puede operar mediante Exfiltración, usando internet para hackear infraestructuras, ganar dinero en mercados financieros o manipular a seres humanos mediante ingeniería social para que realicen tareas en el mundo físico.

La preocupación más grande es el Riesgo Biológico. Una de las mayores preocupaciones actuales es la capacidad de la IA para diseñar patógenos letales con una precisión que supera a cualquier laboratorio humano. El video menciona cómo modelos actuales ya han mostrado capacidades para identificar vulnerabilidades biológicas que antes eran desconocidas.

La Trampa de la Carrera Armamentista y la Ceguera Regulatoria

Actualmente, Google, OpenAI y otras potencias compiten a toda velocidad por ser las primeras. Esta presión por la velocidad descarta la seguridad. Si una empresa se detiene por precaución, otra tomará la delantera. Es un incentivo perverso donde el ganador condena al resto.

El congresista estadounidense Bill Foster lo ve como una dinámica de “teoría de juegos”. Si los gobiernos occidentales detienen el desarrollo por seguridad, temen que regímenes autoritarios o actores maliciosos lleguen primero a la AGI.

Dwarkesh Patel reflexiona sobre el “aceleracionismo ciego”. La velocidad a la que los modelos de IA están adquiriendo capacidades (como la capacidad de hackear o diseñar proteínas) está superando nuestra capacidad regulatoria. El video utiliza sus intervenciones para ilustrar que no tenemos décadas para debatir; el cambio ocurre en meses.

Conclusión: Detenerse no es Cobardía, es Cordura

El título del libro no es sensacionalismo; es una descripción de lo que Yudkowsky considera el resultado más probable dado nuestro nivel actual de preparación. Este no es un problema que se resuelva con “más ética” o “comités de expertos”; es un desafío técnico de una complejidad sin precedentes.

Según el narrador Aric Floyd, crear algo más inteligente que nosotros sin un manual de control no es progreso, es una apuesta con la existencia misma.

La conclusión es cruda: si seguimos construyendo sistemas cada vez más potentes sin haber descifrado primero cómo garantizar que sus objetivos sean exactamente compatibles con la supervivencia humana, no estamos construyendo el futuro. Estamos construyendo el final.

El mensaje es claro: detenerse no es cobardía, es cordura.

Imagen: Generada con IA (ChatGPT)

El planteamiento parte de un punto concreto: si la inteligencia artificial aumenta la productividad de las empresas, también transformará el empleo y las fuentes de ingresos de los gobiernos. Frente a eso, la compañía sugiere medidas para que los beneficios no se queden solo en las grandes tecnológicas.

Una de las principales ideas es crear un sistema en el que las empresas que obtengan grandes ganancias gracias a la automatización contribuyan más. Esto incluiría mayores impuestos a corporaciones y a ingresos derivados del capital, así como la posibilidad de gravar a compañías que reemplacen trabajadores con sistemas automatizados.

Para las personas, esto podría traducirse en nuevas formas de recibir ingresos. Entre las propuestas aparece la creación de un fondo público de inversión en inteligencia artificial, inspirado en modelos como el de Alaska, que repartiría rendimientos periódicos entre la población. En la práctica, sería una forma de redistribuir parte de las ganancias generadas por esta tecnología.

Menos horas de trabajo y nuevas formas de ingreso

El documento también aborda cómo cambiaría la vida laboral. OpenAI plantea que las empresas puedan probar semanas laborales más cortas sin reducir salarios, apoyadas en el aumento de productividad que permitiría la inteligencia artificial.

Además, propone fortalecer programas como el seguro de desempleo y ampliar beneficios como salud y pensiones. Una de las ideas más llamativas es la de “prestaciones transferibles”, que no dependerían de un empleador específico, sino que acompañarían al trabajador a lo largo de su vida laboral.

También se menciona la necesidad de facilitar el acceso a empleos en sectores donde la tecnología no reemplaza fácilmente a las personas, como el cuidado infantil o la atención a adultos mayores. Estas actividades, según la propuesta, deberían tener mayor reconocimiento económico.

Para quienes se preguntan cómo acceder a estos beneficios, el documento señala que muchas de estas medidas dependerían de decisiones gubernamentales. Es decir, no son programas activos aún, sino propuestas que podrían convertirse en políticas públicas. En ese sentido, los ciudadanos tendrían un papel indirecto: participar en el debate, seguir las reformas y acceder a los programas que se creen si llegan a aprobarse.

OpenAI también anunció que abrirá una oficina en Washington para impulsar estas discusiones y financiar investigaciones sobre el impacto social de la inteligencia artificial.

Las propuestas surgen en medio de un debate creciente sobre el futuro del trabajo. A medida que la tecnología avanza, la discusión ya no gira solo en torno a qué puede hacer la inteligencia artificial, sino a cómo se reparten sus beneficios y quién asume sus costos.

De acuerdo con el reporte, este nuevo grupo estará conformado por cerca de 50 especialistas de alto nivel, muchos de ellos seleccionados directamente por Zuckerberg. El objetivo es diseñar modelos capaces de realizar tareas intelectuales con autonomía, aprender del entorno, comunicarse en lenguaje natural y tomar decisiones complejas. Esta visión refleja el interés de Meta por dejar atrás las limitaciones actuales de sus modelos de IA y alcanzar un nuevo nivel de sofisticación tecnológica.

El plan no se limita a la investigación. La idea de fondo es aplicar estos avances en todas las plataformas y dispositivos de la compañía, desde las redes sociales hasta productos físicos como las gafas inteligentes Ray-Ban Meta. Así, Meta busca que sus sistemas inteligentes no solo asistan al usuario, sino que se conviertan en una parte integral de su vida diaria, anticipando necesidades, facilitando tareas y ofreciendo experiencias más personalizadas.

Te puede interesar: El modelo o3-pro ya está disponible en ChatGPT, ¿por qué es relevante y qué cambia para los usuarios?

Aliados estratégicos y una inversión multimillonaria

Una de las figuras que suenan como posible integrante del equipo es Alexandr Wang, fundador de Scale AI, una empresa especializada en el entrenamiento de modelos mediante el etiquetado de datos. Meta ya ha mostrado interés en invertir más de 10.000 millones de dólares en esta startup, lo que representaría su mayor apuesta externa hasta la fecha. Esta inversión sugiere un giro estratégico que implica pasar de desarrollar modelos exclusivamente de forma interna a colaborar con líderes del sector para acelerar su avance en inteligencia artificial.

Meta no es la única en esta carrera. OpenAI, por ejemplo, presentó en 2024 sus modelos o3, con una puntuación destacada en métricas que miden razonamiento avanzado. Otros gigantes tecnológicos como Google, Microsoft y empresas emergentes como xAI también están invirtiendo fuertemente en esta área. Las proyecciones varían: algunos expertos creen que veremos IAG real en pocos años, mientras que otros insisten en que aún estamos lejos de alcanzar una inteligencia equiparable a la humana.

IAG: ¿revolución o ilusión?

Aunque la idea de una inteligencia artificial capaz de pensar, aprender y actuar por sí misma genera entusiasmo, también plantea preguntas complejas. ¿Qué significa realmente alcanzar IAG? ¿Estamos hablando de replicar la mente humana o de crear algo totalmente diferente? Aún no hay consenso ni pruebas concretas de que se haya logrado esta meta. Por ahora, sigue siendo tanto un desafío científico como una incógnita filosófica.

Meta, sin embargo, parece decidida a estar al frente de esta transformación. Su nueva apuesta por la superinteligencia marca una etapa clave en su evolución como empresa tecnológica. Si su visión se concreta, podríamos estar ante un cambio profundo en la forma en que interactuamos con la tecnología en nuestra vida cotidiana.

Imagen: Generada con IA / ChatGPT

Sutskever, quien se retiró de OpenAI hace apenas unas semanas, anunció la creación de una nueva empresa de inteligencia artificial. La compañía fue bautizada con el nombre de Safe Superintelligence (SSI), un nuevo laboratorio de IA liderado por el  cofundador de OpenAI, Daniel Levy, ex investigador de OpenAI y Daniel Gross, inversionista. 

El construir una inteligencia artificial segura no es una idea del todo nueva para Sustskever y otros investigadores. Cuando aún trabajaba con OpenAI, el antiguo jefe científico conformó un equipo para estudiar sistemas de superinteligencia. Mientras tanto, a Ilya Sutskever le preocupaba que los modelos GPT-4 y GPT-5 terminaran siendo herramientas inseguras debido al enfoque comercial. Ambas posturas molestaron a Sam Altman, quien ha estado de acuerdo con las alianzas que ha hecho OpenAI. 

Te puede interesar: ¿Temor a perder? Elon Musk retira la demanda que había presentado contra OpenAI

“Hemos puesto en marcha el primer laboratorio SSI del mundo, con un objetivo y un producto: una superinteligencia segura”, escribieron en la entrada de presentación de Safe Superintelligence. “Abordamos la seguridad y las capacidades en conjunto, como problemas técnicos que deben resolverse mediante ingeniería revolucionaria y avances científicos”.

Los fundadores de esta nueva compañía de la super inteligencia artificial están convencidos de crear una IA realmente segura, algo que lograrán al dejar de lado el enfoque comercial. “Nuestro enfoque singular significa que no hay distracciones por gastos generales de gestión o ciclos de productos, y nuestro modelo de negocio significa que la seguridad, la protección y el progreso están todos aislados de las presiones comerciales a corto plazo”.

La compañía anunció estar buscando a los mejores ingenieros e investigadores.

Imagen: charlas TED

Para entrar en contexto, la superinteligencia es un modelo de la IA hipotético que es más inteligente que la IA, incluso que el ser humano más inteligente. Así mismo, este tipo de tecnología no solo se especializa en un área como los chatbots que conocemos, sino que tiene dominio de múltiples conceptos y campos.

Desde OpenAI consideran que este tipo de modelos podrían llegar antes de que finalice la década. “La superinteligencia será la tecnología más impactante que la humanidad haya inventado y podría ayudarnos a resolver muchos de los problemas más importantes del mundo”, dijo la organización sin fines de lucro.

Así mismo, explican que el poder de la IA es impactante pero el de la IA superinteligente puede llegar a ser tan grande como devastador. “El vasto poder de la superinteligencia también podría ser muy peligroso y podría llevar a la pérdida de poder de la humanidad o incluso a la extinción humana”, comentan desde OpenAI.

Te puede interesar: El vaticano publicó su propio manual de ética para el uso de la inteligencia artificial

Lo cierto es que el nuevo equipo de “guardianes de la IA superinteligente” estará codirigido por el científico jefe de OpenAI, Ilya Sutskever y Jan Leike, el jefe de alineación del laboratorio de investigación. Por otro lado, la empresa comunicó que dedicarán el 20 por ciento de su poder de cómputo actual a esta iniciativa. Con esto, pretenden desarrollar un investigador de alineación automatizada.

En teoría, este nuevo sistema estaría alineado con los valores humanos, de manera que pueda ayudar a OpenAI a garantizar que la superinteligencia sea segura de usar. “Si bien este es un objetivo increíblemente ambicioso y no tenemos garantizado el éxito, somos optimistas de que un esfuerzo concentrado y concertado puede resolver este problema”, dijo OpenAI.

Desde el laboratorio de la compañía de IA aseguran que harán pública su hoja de ruta en un futuro. Este anuncio surge cuando países como Estados Unidos y la Unión Europea buscan crear equipos y políticas que regulen el uso de la IA.

Imagen: Maximalfocus