Meta aseguró que para la creación de I-JEPA se planteó la hipótesis de que la información de sentido común sería clave para permitir un comportamiento inteligente, como la adquisición eficiente de muestras de nuevos conceptos y la planificación.

El equipo de investigación liderado por el científico jefe de inteligencia artificial de Meta, Yann LeCun, diseñó algoritmos de aprendizaje que capturan el conocimiento previo de sentido común sobre el mundo y luego lo codifican en una representación digital. 

Según el gigante tecnológico, esto permite que el sistema sea más eficaz, ya que debe aprender estas representaciones de forma autosupervisada, o sea, directamente a partir de datos no etiquetados, como imágenes o sonidos, en lugar de conjuntos de datos etiquetados ensamblados manualmente.

Te puede interesar: IA optimiza grabación de John Lennon para publicar «última» canción de The Beatles

Al lograr esto, el objetivo de I-JEPA es el de “predecir la representación de una parte de una entrada (como una imagen o un fragmento de texto) a partir de la representación de otras partes de la misma entrada. Debido a que no implica colapsar representaciones de múltiples vistas/aumentos de una imagen en un solo punto, la esperanza es que JEPA evite los sesgos y problemas asociados con otro método ampliamente utilizado llamado entrenamiento previo basado en la invariancia”, explica LeCun.

Por otra parte, otra de las finalidades de esta nueva IA es que sea capaz de “predecir la información que falta en una representación abstracta que es más parecida a la comprensión general que tiene la gente”.

Meta señala que la nueva forma de aprendizaje automático, utiliza objetivos de predicción abstractos para los que se eliminan potencialmente los detalles innecesarios a nivel de píxel, lo que lleva al modelo a aprender más características semánticas.

Este sería un método generativo completamente diferente a los que actualmente existen, ya que los que hay, lo hacen a través de la predicción en el  espacio de píxel/token. 

Te puede interesar: MusicGen de Meta te crea piezas musicales con algunas instrucciones y una melodía de referencia

Finalement la compañía Marck Zuckerberg, explica que el preentrenamiento I-JEPA, es computacionalmente eficiente. Asegura que no implica ninguna sobrecarga asociada con la aplicación de aumentos de datos más intensivos desde el punto de vista computacional para producir múltiples vistas. 

LeCun  concluye que  “los modelos JEPA podrían tener aplicaciones interesantes para tareas como la comprensión de videos. Este es un paso importante para aplicar y escalar métodos autosupervisados para aprender un modelo general del mundo”.

Imagen: Montaje ENTER.CO