Microsoft creó un bot que describe qué hay en una foto

El sistema aún está en fase inicial, así puede arrojar errores.
El sistema aún está en fase inicial, así puede arrojar errores.
El sistema aún está en fase inicial, así puede arrojar errores.

Microsoft acaba de crear un bot que añade descripciones automáticas a las fotos, llamado Captionbot. El sistema, que funciona con los servicios cognitivos de Microsoft da un vistazo a tus imágenes y da descripciones rudimentarias de lo que puede ver. 

Este mismo software es el que usa Microsoft para el sistema de ‘How Old Do I Look?’, que busca adivinar tu edad, o el que te dice de qué raza es un perro. Así lo reportó hoy GizMag.

Todo el sistema se basa en un bot, que es un programa que puede comunicarse con humanos usando inteligencia artificial. Captionbot usa varios API, es son grupo de funciones acceden a datos, como fotos o documentos, dentro de un sistema operativo o aplicaciones.

Así, el bot usa un API de visión, que extrae información de imágenes y de datos que la acompañan, como etiquetas. También un API de Emotions, que analiza las expresiones faciales y las relaciona con una base de datos de emociones ‘universales’, como rabia, disgusto, felicidad, o sorpresa.

Para crear los ‘caption’ o las descripciones, el sistema se unificó con el equipo de lenguaje que usaba Tay, un intento de Microsoft por hacer un bot de chats, pero que fue suspendido porque comenzó a tuitear contenido racista y sexista.

Captionbot aún no es completamente acertado, pero intenta siempre describir a la persona que está en una foto, lo que está haciendo y sus emociones en el momento. También es capaz de reconocer animales y describir paisajes, aunque no es su especialidad. El bot te permite decirle si acertó o no cada vez que haces un intento.

Podríamos pensar que este bot se parece al sistema que recién lanzó Facebook para personas invidentes, pero lastimosamente no dice las descripciones en voz alta, solo en texto.

Por ahora, las personas están probando el sistema y están rodando muchos ejemplos en los que Captionbot confunde hombres con mujeres, la Luna con un terreno sucio, entre otros errores. DailyMail reportó que cientos de usuarios en Twitter están publicando sus desastrosas descripciones dadas por Captionbot.

Un vocero de Microsoft explicó que la tecnología de descripciones de imágen aún está comenzando, pero que están recibiendo todas las retroalimentaciones del sistema para poder mejorar el servicio y hacerlo más acertado.

Aquí probamos un par de fotos.

Captionbot cree que es un hombre parado frente a un edificio y que parece tener cara seria.
Captionbot cree que es un hombre parado frente a un edificio y que parece tener cara seria.
En esta Captionbot cree que es un hombre volando una cometa en el atardecer. Casi.
En esta Captionbot, cree que es un hombre volando una cometa en el atardecer.
Captionbot cree, aunque no está seguro, que es un hombre agarrando a un perro y que parece muy feliz ¡Bravo!
Captionbot cree, aunque no está seguro, que es un hombre agarrando a un perro y que parece muy feliz ¡Bravo!

Imagen: captura de pantalla (Microsoft).

 

Susana Angulo

Susana Angulo

Antes de Internet ya me gustaban la música clásica, los animales,
cocinar postres, y leer cuentos de terror. La tecnología me ha
permitido ahondar en estas y tantas otras pasiones, que sería un error
pensar en la cultura digital como tema exclusivo de 'geeks'. Soy
periodista de la Universidad del Rosario.

View all posts

6 comments

Archivos