Microsoft acaba de crear un bot que añade descripciones automáticas a las fotos, llamado Captionbot. El sistema, que funciona con los servicios cognitivos de Microsoft da un vistazo a tus imágenes y da descripciones rudimentarias de lo que puede ver. 

Este mismo software es el que usa Microsoft para el sistema de ‘How Old Do I Look?’, que busca adivinar tu edad, o el que te dice de qué raza es un perro. Así lo reportó hoy GizMag.

Todo el sistema se basa en un bot, que es un programa que puede comunicarse con humanos usando inteligencia artificial. Captionbot usa varios API, es son grupo de funciones acceden a datos, como fotos o documentos, dentro de un sistema operativo o aplicaciones.

Así, el bot usa un API de visión, que extrae información de imágenes y de datos que la acompañan, como etiquetas. También un API de Emotions, que analiza las expresiones faciales y las relaciona con una base de datos de emociones ‘universales’, como rabia, disgusto, felicidad, o sorpresa.

Para crear los ‘caption’ o las descripciones, el sistema se unificó con el equipo de lenguaje que usaba Tay, un intento de Microsoft por hacer un bot de chats, pero que fue suspendido porque comenzó a tuitear contenido racista y sexista.

Captionbot aún no es completamente acertado, pero intenta siempre describir a la persona que está en una foto, lo que está haciendo y sus emociones en el momento. También es capaz de reconocer animales y describir paisajes, aunque no es su especialidad. El bot te permite decirle si acertó o no cada vez que haces un intento.

Podríamos pensar que este bot se parece al sistema que recién lanzó Facebook para personas invidentes, pero lastimosamente no dice las descripciones en voz alta, solo en texto.

Por ahora, las personas están probando el sistema y están rodando muchos ejemplos en los que Captionbot confunde hombres con mujeres, la Luna con un terreno sucio, entre otros errores. DailyMail reportó que cientos de usuarios en Twitter están publicando sus desastrosas descripciones dadas por Captionbot.

Un vocero de Microsoft explicó que la tecnología de descripciones de imágen aún está comenzando, pero que están recibiendo todas las retroalimentaciones del sistema para poder mejorar el servicio y hacerlo más acertado.

Aquí probamos un par de fotos.

Imagen: captura de pantalla (Microsoft).