De acuerdo con los investigadores el experimento consistió en plantear una pregunta básica de sentido común. La pregunta era algo así: “Alice tiene hermanos y hermanas. ¿Cuántas hermanas tiene el hermano de Alice?”. Una pregunta que cualquier persona podría responder sin mucha dificultad, pero que resultó ser un reto insuperable para muchos de estos sofisticados modelos de lenguaje.

¿Por qué?

El texto señala que lo que les llamó la atención a los expertos no es que hayan fallado, sino en cómo lo hicieron, pues las respuestas que dieron las IA no solo eran incorrectas, sino que las explicaban con una confianza abrumadora. Peor aún, sus explicaciones eran largas y complicadas, llenas de razonamientos que sonaban lógicos pero que, en realidad, eran puro sinsentido.

Los investigadores intentaron varias estrategias para ayudar a las IA a corregir sus respuestas. Probaron con diferentes formas de preguntar, les pidieron que revisaran sus respuestas, y hasta les dieron pistas. Pero nada funcionó. Las IA seguían proporcionando respuestas erróneas con explicaciones aún más enredadas.

Te puede interesar: ¡Abarrotado de usuarios! Generador de video AI Dream Machine es sensación por versión gratuita

La investigación señala que este experimento revela que, a pesar de los logros de las IA en muchas áreas, todavía tienen fallos importantes en tareas simples de razonamiento. Las puntuaciones altas en pruebas estandarizadas no reflejan estas debilidades, ya que las IA parecen sobresalir solo en entornos controlados y tareas específicas.

“Utilizando una simple pregunta de sentido común, los investigadores observaron un colapso dramático en el desempeño de los modelos, que proporcionaron respuestas incorrectas acompañadas de explicaciones muy confiadas pero incorrectas. Este fallo sugiere problemas fundamentales con la capacidad de generalización de estos modelos”, explican los investigadores.

El estudio destaca que, aunque algunos modelos como GPT-4 y Claude 3 Opus ocasionalmente ofrecen razonamientos correctos, su desempeño fluctúa significativamente. Incluso los modelos de menor escala, que generalmente tienen peor rendimiento en tareas de razonamiento, muestran esporádicamente respuestas correctas, indicando que las habilidades de razonamiento están presentes pero no se ejercen de manera confiable.

Te puede interesar: ¿Qué tan potente es la IA de Apple en comparación con GPT-4 y Gemma de Google?

Finalmente los expertos dicen que es necesario abordar estas deficiencias, los investigadores abogan por un proceso de desarrollo y evaluación completamente transparente.

Esto incluye la apertura del código fuente, los conjuntos de datos de entrenamiento y los procedimientos de evaluación. Proponen actualizar los puntos de referencia para que sean más efectivos en descubrir las debilidades de los modelos y sugieren que los puntos de referencia deberían intentar falsear las capacidades del modelo en lugar de confirmarlas.

Imagen: Fotograma de Alicia en el País de las Maravillas

El filme que inició la rentable moda de tomar viejos cuentos infantiles y ‘actualizarlos’ con escenarios oscuros fue ‘Alicia en el país de las maravillas’. Aunque no fue bien recibida por la crítica, el filme ganó muchísimo dinero en taquilla, asegurando una secuela que este jueves se presenta con el siguiente tráiler:

‘Alice Through the Looking Glass’ es la nueva película que la saga que inició Tim Burton en 2010, y que ahora pasa a las manos del director James Robin (encargado de los dos últimos  filmes de ‘Los Muppets’). Burton seguirá en la saga como productor (justo para poner su nombre en el tráiler y vender el producto).

El elenco principal de la primera película regresa: Johnny Depp, Helena Bonham Carter, Alan Rickman y Mia Wasikowska. El nuevo agregado es Sacha Baron Cohen, el comediante será Tiempo, el villano de esta entrega.

La historia de esta entrega girará en torno al Sombrerero, quien corre algún tipo de peligro y el regreso de Alicia será la clave para salvarlo. El filme se estrenará el 26 de mayo de 2016.

Imagen: póster oficial del filme.