Meta se propuso crear una inteligencia artificial (IA), capaz de capturar el conocimiento de sentido común con el aprendizaje autosupervisado, un método basado en el proceso que hacemos los humanos a la hora de aprender conocimientos previos sobre el mundo: observándolo. Se trata de I-JEPA (Image Joint Embedding Predictive Architecture), una IA, que según el gigante tecnológico, sería superior a los sistemas más avanzados que existen hasta ahora.
Meta aseguró que para la creación de I-JEPA se planteó la hipótesis de que la información de sentido común sería clave para permitir un comportamiento inteligente, como la adquisición eficiente de muestras de nuevos conceptos y la planificación.
El equipo de investigación liderado por el científico jefe de inteligencia artificial de Meta, Yann LeCun, diseñó algoritmos de aprendizaje que capturan el conocimiento previo de sentido común sobre el mundo y luego lo codifican en una representación digital.
Según el gigante tecnológico, esto permite que el sistema sea más eficaz, ya que debe aprender estas representaciones de forma autosupervisada, o sea, directamente a partir de datos no etiquetados, como imágenes o sonidos, en lugar de conjuntos de datos etiquetados ensamblados manualmente.
Te puede interesar: IA optimiza grabación de John Lennon para publicar «última» canción de The Beatles
Al lograr esto, el objetivo de I-JEPA es el de “predecir la representación de una parte de una entrada (como una imagen o un fragmento de texto) a partir de la representación de otras partes de la misma entrada. Debido a que no implica colapsar representaciones de múltiples vistas/aumentos de una imagen en un solo punto, la esperanza es que JEPA evite los sesgos y problemas asociados con otro método ampliamente utilizado llamado entrenamiento previo basado en la invariancia”, explica LeCun.
Por otra parte, otra de las finalidades de esta nueva IA es que sea capaz de “predecir la información que falta en una representación abstracta que es más parecida a la comprensión general que tiene la gente”.
Meta señala que la nueva forma de aprendizaje automático, utiliza objetivos de predicción abstractos para los que se eliminan potencialmente los detalles innecesarios a nivel de píxel, lo que lleva al modelo a aprender más características semánticas.
Este sería un método generativo completamente diferente a los que actualmente existen, ya que los que hay, lo hacen a través de la predicción en el espacio de píxel/token.
Te puede interesar: MusicGen de Meta te crea piezas musicales con algunas instrucciones y una melodía de referencia
Finalement la compañía Marck Zuckerberg, explica que el preentrenamiento I-JEPA, es computacionalmente eficiente. Asegura que no implica ninguna sobrecarga asociada con la aplicación de aumentos de datos más intensivos desde el punto de vista computacional para producir múltiples vistas.
LeCun concluye que “los modelos JEPA podrían tener aplicaciones interesantes para tareas como la comprensión de videos. Este es un paso importante para aplicar y escalar métodos autosupervisados para aprender un modelo general del mundo”.
Imagen: Montaje ENTER.CO
