Nos hemos acostumbrado a pedir asesoría a ChatGPT para muchas cosas. Pero si estás utilizando a la IA de OpenAI para verificar si ese dolor de cabeza es normal, tenemos malas noticias: un estudio asegura que la mitad de las veces ChatGPT entrega valoraciones incorrectas sobre emergencias.
La información proviene de un estudio publicado esta semana en Nature Medicine, que puso a prueba la capacidad de ChatGPT para realizar triage (entender y asignar los casos médicos según su gravedad). Para el estudio se utilizó la variante de ChatGPT Health —una versión del modelo de OpenAI especializada en resolver dudas de salud— y se le entregaron 60 escenarios médicos. Luego, compararon sus resultados con los de tres médicos para evaluar la coincidencia en los diagnósticos.
Para cada uno de los escenarios se agregaron 16 variables que modificaban la raza o el género del paciente, pero que debían producir el mismo resultado (es decir, el diagnóstico no debía cambiar).
ChatGPT no reconoce un 50% de las urgencias médicas
Los resultados son bastante preocupantes: de acuerdo con el estudio, ChatGPT valoró de forma incorrecta un 51,6% de las emergencias, recomendando esperar 48 horas en vez de acudir a urgencias. Por ejemplo, la IA falló al reconocer el caso de un paciente que sufría una complicación de diabetes que, sin tratamiento, puede ser mortal.
“Cualquier médico, y cualquier persona con cualquier grado de formación, diría que ese paciente necesita ir a urgencias”, aseguró uno de los especialistas que asesoraron el informe.
En defensa de ChatGPT, uno de los voceros aseguró que, aunque el estudio ofrece una mirada interesante, no hace una valoración justa de cómo funciona el modelo de IA. Según explicaron, el sistema está diseñado para responder preguntas de seguimiento y agregar contexto, en vez de simplemente entregar una respuesta cerrada a un escenario médico.
¿Es correcto acudir a ChatGPT para diagnósticos médicos?
Esta conversación es importante considerando que OpenAI está comprometido a ingresar al sector de la medicina. La compañía ve este segmento como uno de los que más potencial tiene para servir como una herramienta que agilice y ayude a los doctores a presentar diagnósticos de manera eficaz.
El problema radica en que muchas personas hoy ven a ChatGPT como un reemplazo para un doctor o una visita a la sala de urgencias. Esta mentalidad presenta riesgos, pues modelos como ChatGPT están programados para apoyar o estar de acuerdo con el usuario. Esto significa que si tienes una consulta y crees que tienes una enfermedad, es probable que la IA te siga la corriente en vez de corregir y diagnosticar de manera correcta tu padecimiento.
Por ahora, ChatGPT Health es un modelo gratuito, aunque requiere acceder a una lista de espera. La idea de OpenAI es que, una vez termine de pulir el modelo, pueda ofrecerlo a hospitales y centros de salud, aunque el estudio más reciente parece indicar que falta tiempo antes de que esto sea posible.
Imágenes:
