Un estudio de la Universidad de Purdue analizó 517 respuestas de ChatGPT con resultados reveladores. El 54% de las respuestas erradas radica en que la IA no entiende la pregunta, sin embargo hay otros temas en los que sí responde con exactitud y resulta ser muy confiable. ¿Qué sabe y qué inventa el ChatGPT?
Un resultado revelador del estudio muestra que los usuarios que participaron, pudieron identificar con éxito respuestas incorrectas (de dos opciones) solo con el 60,66% de efectividad.
Al preguntarle a los usuarios cómo identificaron la información incorrecta en una respuesta; 10 de 12 participantes mencionaron que leyeron la respuesta, trataron de encontrar alguna incoherencia y trataron de evaluar si el razonamiento tenía sentido.
Te puede interesar: EE.UU. responde a mortales incendios con IA, así es la nueva tecnología para extinguir el fuego
Por otro lado, 7 participantes mencionaron que identificaron la terminología y los conceptos con los que no estaban familiarizados e hicieron una búsqueda en Google. Y por último, 4 de 12 usuarios compararon las dos respuestas y trataron de entender cuál tenía más sentido. Sin embargo, muchas veces ChatGPT les hizo creer que en una respuesta errada.
En este sentido, la investigación de la Universidad de Purdue evaluó las respuestas de ChatGPT a 517 preguntas del sitio de para programadores aficionados y profesionales, Stack Overflow (SO). «Nuestro examen reveló que el 52 % de las respuestas de ChatGPT contienen inexactitudes y el 77 % son detalladas», detalla el artículo.
Se concluyó que el 54% de los errores cometidos por el chatbot radicaría en que este, no entendió el concepto de la pregunta formulada. Cuando sí entendió la pregunta, frecuentemente tuvo problemas para proporcionar una respuesta correcta. «En muchos casos, vimos a ChatGPT dar una solución, un código o una fórmula sin previsión ni pensar en el resultado».
Te puede interesar: ¡Escritores en alerta! Tras denuncia de falsedad, Amazon despublicó supuestos libros de Jane Friedman
Sin embargo, ChatGPT sí ha demostrado ser exacto y confiable en algunas pruebas. En febrero, Google envió preguntas de la entrevista de codificación y, según las respuestas de la IA, se determinó quién sería contratado para un puesto de ingeniería de nivel tres.
Además, un ingeniero de Amazon usó ChatGPT para responder las preguntas de una entrevista para un trabajo de codificación de software en la empresa y el bot respondió correctamente, segùn Insider .
ChatGPT se haría campo en el 19% de las profesiones. Un estudio de OpenAI de marzo, arrojó que la tecnología podría hacer el trabajo de los traductores e intérpretes humanos. Además desplazaría escritores, matemáticos, preparadores de impuestos, contadores y auditores, entre otros profesionales.
La investigación de la Universidad de Purdue ratifica que el ChatGPT tiene una tendencia a inventar respuestas, por lo que requiere supervisión humana.
