A diferencia de los modelos tradicionales que dependen de procesos lineales, LLaVA-o11 descompone las tareas en cuatro fases estructuradas: resumen, subtítulos, razonamiento y conclusión. Este diseño permite abordar desafíos de razonamiento intensivo con una precisión que hasta ahora parecía inalcanzable. El resultado es un sistema más adaptable, eficiente y robusto en la resolución de problemas complejos.

El proceso de LLaVA-o11 comienza con un resumen que identifica los elementos principales de la pregunta planteada. Si existe una imagen asociada, el modelo genera subtítulos que describen los elementos visuales relevantes.

Te puede interesar: OpenAI actualizó su inteligencia artificial, GPT-4o ¿Cómo mejorará tu experiencia con el chatbot?

Luego, se pasa a la etapa de razonamiento, donde se analizan los datos recopilados para llegar a una respuesta preliminar. Finalmente, en la fase de conclusión, LLaVA-o11 sintetiza toda la información para ofrecer una respuesta precisa y adaptada a las necesidades del usuario.

Lo que hace único a este modelo es su capacidad para operar de manera autónoma, eligiendo qué pasos activar y cuándo, sin depender de indicaciones externas. Este enfoque estructurado no solo mejora la precisión, sino que también incrementa la eficiencia del sistema en tareas complejas, especialmente aquellas que requieren razonamiento lógico o análisis visual detallado.

Entrenada con datos especializados

El entrenamiento de LLaVA-o11 se llevó a cabo con un conjunto de datos innovador denominado LLaVA-o11-100k. Este dataset combina 99,000 muestras provenientes de diversas fuentes, incluidas bases de datos enfocadas en gráficos, preguntas científicas y relaciones espaciales. Herramientas avanzadas como GPT-4o se utilizaron para crear procesos de razonamiento detallados que enriquecieron aún más este conjunto de datos.

Además, el modelo introduce un enfoque inédito: el uso de etiquetas estructuradas como <SUMMARY> o <CAPTION>, que dirigen el flujo del razonamiento en cada etapa. Estas etiquetas permiten que el sistema genere respuestas más estructuradas y con un nivel de detalle adaptado al contexto de la pregunta, algo esencial en tareas que combinan lenguaje y visión.

¿Supera a los gigantes del mercado?

Las capacidades de LLaVA-o11 se han puesto a prueba en puntos de referencia desafiantes como MathVista, MMStar y AI2D. Comparado con su modelo base, Llama-3.2-11B-Vision-Instruct, logró un aumento promedio del 6.9% en precisión. Sorprendentemente, también superó a sistemas cerrados como Gemini-1.5-pro y GPT-4o-mini, ambos reconocidos por su sofisticación.

Uno de los avances más destacados es su método de “búsqueda de haz a nivel de etapa”. Esta técnica evalúa múltiples respuestas en cada fase del razonamiento y selecciona la mejor antes de continuar. Este enfoque no solo mejora la exactitud, sino que también asegura que las conclusiones sean más confiables, incluso en tareas de alta complejidad.

Imagen: Generada con IA/Gemini