¿GPT-4 o Fastchat? ¿Dolly o Koala? Ahora que todos los días encontramos una nueva noticia de un modelo IA con el potencial de reemplazar a las personas y que la oferta de chatbots es mucho mayor hay una pregunta que una buena parte de la Internet se hace: ¿cuál es el mejor chatbot de todos?
Y para resolver esta duda (o al menos hacer más divertida la pregunta) está Chatbot Arena. La plataforma es un proyecto creado por LMSYS (un grupo de investigación fundado por estudiantes y miembros de la facultad de UC Berkley) que pone a competir a dos chatbots para buscar cuál de ellos ofrece la mejor respuesta.
Chatbot Arena no te dice cuál es el mejor chatbot directamente, sino que en vez de eso te pide qué califiques cuál de las dos opciones es la que mejor tiene coherencia o te parece mejor construida. Para esto pide que des una instrucción y luego te muestra la respuesta de cada uno de los 16 posibles modelos ocultando su nombre. Después de esto puedes realizar una pregunta de seguimiento o puedes calificar la mejor respuesta de inmediato. Cuando hayas dado tu voto se revelará el nombre de cada chatbot.
¿Pero cuál es el mejor chatbot IA? La plataforma también cuenta con una tabla de clasificación que ha sumado el resultado de todos los usuarios. Para sorpresa de poco sel primer lugar lo tiene GPT-4. Sin embargo, y contrario a lo que dice Open AI, parece que la diferencia no es tan grande pues Claude V1 (el modelo de Anthropic) lo sigue de cerca con la medalla de bronce para GPT 3.5 Turbo.
Por supuesto, este sistema de votos no es la mejor manera de seleccionar al ‘rey de los chatbots’. Pero es una herramienta interesante para comparar el tipo de respuestas que entregan los modelos IA hoy, así como encontrar aquellos puntos que para nosotros ayudan a identificar una respuesta como ‘mejor’. ¿Se trata de la extensión? ¿De los argumentos? ¿De la manera como hila las ideas? ¿De cómo puede utilizar información previa? Poner a modelos IA a competir por nuestra aprobación al menos nunca había sido tan entretenido.
¿Cómo usar Chatbot Arena?
– Lo primero que debes hacer es ingresar a este enlace.
– En el campo de ‘Enter Text’ ingresa la pregunta o solicitud que quieras hacer al chatbot. Después de esto ambos modelos cargarán sus respuestas.
– Puedes pulsar el botón de ‘Renegerate’ si quieres obtener una respuesta diferente a la pregunta de cada uno de los modelos (en caso de que quieras verificar la variedad de generación en contenido, por ejemplo).
– También puedes ingresar otra pregunta en ‘Enter Text’ si quieres ver su capacidad de continuar con el hilo de una conversación o construir una respuesta hilada con el tema anterior.
– Después de esto puedes seleccionar si la respuesta A o B es mejor, si están empatadas o si consideras que ambas son malas. Una vez que hayas votado se revelará el nombre de los chatbots.
Imágenes: capturas de pantalla, montaje ENTER.CO y upklyak en Freepik
