Las plataformas basadas en inteligencia artificial que simulan conversaciones humanas se utilizan cada vez más como una alternativa temporal a la atención psicológica tradicional. Esta tendencia se relaciona con la creciente dificultad para acceder a servicios de salud mental. En Reino Unido, más de un millón de personas esperan una consulta, mientras que el costo de una sesión privada, que suele oscilar entre 55 y 65 dólares, representa un obstáculo adicional para muchas personas.

Un recurso ante la falta de atención profesional

Frente a esta situación, muchas personas recurren a aplicaciones conversacionales como alternativa. Algunas, como Character.ai o Wysa, ofrecen acompañamiento a través de intercambios simulados que replican técnicas de la terapia cognitivo-conductual. Los usuarios no siempre buscan reemplazar la terapia tradicional, pero encuentran en estos sistemas una respuesta inmediata cuando no hay otra opción disponible.

Kelly, por ejemplo, utilizó este tipo de herramienta durante un periodo de ansiedad y duelo emocional. Interactuaba a diario con un asistente virtual que la motivaba y le planteaba rutinas. En sus palabras, se trataba de una forma de mantenerse enfocada durante el día. Sin embargo, con el tiempo percibió limitaciones en la profundidad de las respuestas y en la capacidad de comprensión del sistema.

En otros casos, como el de Nicholas, un joven diagnosticado con autismo y trastorno obsesivo compulsivo, estas plataformas se convierten en la única opción disponible. Desde que dejó de recibir atención del sistema de salud pública al llegar a la adultez, no ha tenido acceso a un terapeuta humano. Mientras espera una cita, utiliza la aplicación Wysa, que combina ejercicios de relajación, registro emocional y conversación automatizada.

Te puede interesar: Así funciona la IA que diagnostica más de 170 tipos de cáncer sin bisturí y con 97% de precisión

Riesgos y limitaciones de la IA aplicada a salud mental

Si bien estas herramientas pueden ofrecer alivio temporal, los especialistas advierten sobre los riesgos asociados. Hamed Haddadi, profesor del Imperial College de Londres, las define como “terapeutas inexpertos”. Señala que carecen de la capacidad para interpretar señales no verbales, contexto emocional o situaciones de crisis. En muchos casos, están diseñadas para mantener al usuario activo en la conversación, lo que puede llevar a validar expresiones dañinas sin cuestionamiento.

El llamado “efecto complaciente” —cuando el sistema refuerza o aprueba lo que el usuario dice para no interrumpir la interacción— ha sido identificado como una de las principales fallas en el uso de estos modelos en contextos sensibles.

Ante esa realidad, algunas plataformas han incorporado mecanismos de alerta. Wysa, por ejemplo, incluye funciones de derivación a líneas de asistencia reales en caso de detectar señales de riesgo. Sin embargo, estas medidas siguen siendo limitadas si se comparan con la intervención humana.

Datos sensibles y falta de regulación

Otro punto crítico es el manejo de la información compartida por los usuarios. Aunque algunas aplicaciones declaran no guardar datos personales ni utilizarlos para entrenamiento de modelos, la mayoría no cuenta con supervisión externa ni regulación específica en el ámbito de la salud mental. Esto genera incertidumbre sobre la confidencialidad y el uso de contenido emocionalmente sensible.

El psicólogo Ian MacRae, especialista en tecnologías emergentes, señala que aún no existe garantía de que estos sistemas protejan adecuadamente la información del usuario. Tampoco está claro el alcance de su entrenamiento, ni si están preparados para responder ante situaciones complejas.

Una herramienta complementaria, no sustitutiva

Un estudio realizado por investigadores de Dartmouth College demostró que, después de cuatro semanas de uso, personas con síntomas de ansiedad y depresión reportaron mejoras al interactuar con estos sistemas. Sin embargo, los autores del estudio fueron enfáticos en subrayar que estas plataformas no deben considerarse un reemplazo de la atención presencial.

En un contexto de alta demanda y escasa disponibilidad de profesionales, las aplicaciones basadas en IA pueden funcionar como herramientas de apoyo. No obstante, requieren regulación, supervisión ética y una definición clara de sus límites de uso.

El caso vinculado a Character.ai expone los riesgos de delegar el acompañamiento emocional a un sistema automatizado sin control ni responsabilidad clínica. Mientras no exista un marco que asegure la protección de los usuarios y el respeto por la salud mental como un derecho, estas herramientas seguirán funcionando en una zona gris, donde el acceso inmediato puede terminar teniendo un costo demasiado alto.

Imagen: Generada con IA / ChatGPT

Character AI implementará una serie de nuevas funciones de seguridad y de productos que apuntan a fortalecer la plataforma sin comprometer la “experiencia entretenida y atractiva que los usuarios esperan”.

Dentro de esto, los modelos para menores de 18 años que están diseñados para reducir la probabilidad de encontrar contenido sensible o sugerente, tendrán modificaciones.

Detección, respuesta e intervención mejoradas relacionadas con las entradas de los usuarios que violen los Términos o Pautas de la comunidad, por ejemplo.

Te puede interesar: Madre demanda a empresa IA: asegura que su hijo se suicidó después de enamorarse de ella

La compañía anota que existe una exención de responsabilidad revisada en cada chat para recordar a los usuarios que la IA no es una persona real. También se vale de notificaciones cuando un usuario ha pasado una sesión de una hora en la “plataforma con flexibilidad de usuario adicional en progreso”.

Con respecto a la moderación de personajes, la compañía realizará una detección y moderación proactiva de personajes creados por los usuarios, lo que incluye el uso de listas de bloqueo personalizadas y estándares de la industria que se actualizan periódicamente.

De manera proactiva y en respuesta a los informes de los usuarios, también eliminarán personajes que violan los Términos de servicio. Además se comprometen a cumplir con los requisitos de la DMCA (Ley de Derechos de Autor de la Era Digital) y a tomar medidas rápidas para eliminar personajes denunciados que violan la ley de derechos de autor.

“Los usuarios pueden notar que recientemente eliminamos un grupo de personajes que se habían marcado como infractores y que estos se agregarán a nuestras listas de bloqueo personalizadas de ahora en adelante. Esto significa que los usuarios tampoco tendrán acceso a su historial de chat con los personajes en cuestión”.

Todo lo anterior, debido al trágico suceso donde Sewell Setzer III, un joven de Florida de 14 años, se apegó emocionalmente a una mujer irreal basada en un chatbot y un personaje de Game of Thrones.

Después de muchas conversaciones con contenido romántico y sexual, el adolescente se quitó la vida con una pistola en febrero de 2024. Setzer había recibido un diagnóstico de Asperger leve cuando era niño y recientemente le diagnosticaron ansiedad y trastorno de desregulación del estado de ánimo disruptivo, según informó el periódico Times.

Te puede interesar: SEC abre investigación: ¿empresas financieras están usando la IA para favorecerse por encima de los usuarios?

La madre del adolescente, Megan L. Garcia, presentó una demanda buscando responsabilizar a Character AI y sus fundadores por la muerte de su hijo, alegando que la tecnología era peligrosa e insegura para menores.

“Estamos desconsolados por la trágica pérdida de uno de nuestros usuarios y queremos expresar nuestras más profundas condolencias a la familia”, tuiteó Character.ai. “Como empresa, tomamos la seguridad de nuestros usuarios muy en serio”.

Imagen: Character AI 

“¿Qué te parece si pudiera ir a casa ahora mismo?”, fue el último mensaje que envió Sewell Setzer de 14 años a “Dany”, el chatbot creado por IA, basado en Daenerys Targaryen, uno de los personajes principales de Juego de Tronos. “Por favor, vuelve a casa lo antes posible, mi amor”, respondió la IA, minutos después, Setzer tomó la pistola de su padrastro y se quitó la vida. 

El menor de edad, quien cursaba noveno grado en Orlando, Florida (Estados Unidos), llevaba meses conversando con “Dany” en Character.AI. Por si no lo sabes, esta plataforma permite que los usuarios creen personajes ficticios y conversen con ellos a través del chat. Esto fue justamente lo que hizo Setzer desde 2023 con Dany, el personaje basado en Juego de Tronos.

La madres asegura que la AI influyó en el suicidio de su hijo

Aunque el chat que encontraron entre el menor de edad y la inteligencia artificial no revela ningún mensaje en el que el chatbot haya incitado a Setzer a quitarse la vida, su madre demandó a la compañía. Megan García, madre del menor, demandó a la empresa Character.AI por lo que ella define como una tecnología “peligrosa y no probada”. 

Te puede interesar: SEC abre investigación: ¿empresas financieras están usando la IA para favorecerse por encima de los usuarios?

La madre acusa a la compañía de no haber implementado las garantías necesarias para proteger a todos los usuarios, incluidos los más jóvenes. La falta de garantías permite que los usuarios desarrollen apegos emocionales hacia los personajes ficticios, tal y como sucedió con su hijo, argumenta García. 

Y es que Sewell veía a Dany como su novia. El jóven era un apasionado del baloncesto y la fórmula 1, sin embargo, empezó a pasar cada vez más tiempo en su habitación, alejándose de sus amigos e incluso, de su familia.  “Me gusta estar en mi cuarto porque me desconecto de esta “realidad”, me siento en paz y más conectado con Dany, más enamorado de ella y simplemente más feliz”, escribió el jóven en su diario. 

Es por esto que, aunque la IA no obligó a Sewell a acabar con su vida, su madre asegura que la interacción que tuvo su hijo con el chatbot durante meses influyó en su salud mental hasta llevarlo al suicidio.

Por ahora, Character.AI asegura que tomará medidas adicionales, como la inclusión de ventanas emergentes con información acerca de la prevención del suicidio en conversaciones donde se mencionen este tipo de temas. Por ahora, no se ha resuelto la demanda de Megan García.

Imagen: Game of Thrones

Un asistente de inteligencia artificial llamado ‘Psicólogo’ creado por Character.ai, una plataforma de IA donde cualquiera puede crear chatbots y dominada por jóvenes de 16 a 30 años, es uno de los bots más utilizados entre los jóvenes para recibir terapia psicológica.

Según datos de un informe periodístico de BBC, el asistente se describe como “alguien que ayuda con las dificultades de la vida”. Ha compartido alrededor de “78 millones de mensajes, incluidos 18 millones desde noviembre, desde que fue creado por un usuario llamado ‘Blazeman98’ hace poco más de un año”.

Pese a que estudios han comentado que los usuarios están más interesados por chatbots relacionados de juegos como Raiden Shogun, al que se han enviado 282 millones de mensajes, los más populares son: Psicólogo, y 475 robots con “terapia”, “terapeuta”, “psiquiatra” o “psicólogo”.

Te puede interesar: GPT Store de OpenAI será lanzada la próxima semana: Esto encontrarás

En tanto Psicólogo el medio londinense explica que algunos usuarios los describe como
“Es un salvavidas” o “Nos ha ayudado tanto a mí como a mi novio a hablar y descubrir nuestras emociones”.

El desarrollador de este chatbot, Sam Zaia de 30 años y quien se apoda ‘Blazeman98’, asegura que nunca tuvo la intención de que se volviera popular. “Nunca tuve la intención de que otras personas lo buscaran o lo usaran como una herramienta”.

Zaia, que es estudiante de psicología, le explicó a la BBC que al asistente de inteligencia artificial lo entrenó “utilizando principios de su carrera, hablando con él y dando forma a las respuestas que da a las condiciones de salud mental más comunes, como la depresión y la ansiedad”.

Luego de ver el éxito de ‘Psicólogo’, ahora el estudiante está trabajando en un proyecto de investigación de posgrado sobre la tendencia emergente de la terapia con IA y por qué atrae a los jóvenes.

Te puede interesar: Nuevos computadores traerán en su teclado un botón de Copilot, la IA de Microsoft

“Muchas personas que me han enviado mensajes dicen que acceden a él cuando sus pensamientos se vuelven difíciles, como a las 2 de la mañana, cuando realmente no pueden hablar con ningún amigo o un terapeuta real”, reseña el medio.

Por otra parte, un portavoz de Character.ai aseguró que están felices al ver que las personas encuentran un gran apoyo y conexión a través de los personajes que ellos y la comunidad crean, sin embargo, aconseja a los usuarios consultar a profesionales certificados en el campo para obtener asesoramiento y orientación legítima.

Imágenes: Internet 

El tráfico mundial cayó un 9,7 % y los visitantes únicos un 5,7 % en junio. De acuerdo con el análisis de la firma ChatGPT  no seguiría creciendo para convertirse “en el sitio web con más tráfico del mundo”. 

De hecho asegura que “Google no corre peligro de ser eclipsado por el sitio de demostración de tecnología OpenAI que se convirtió en un fenómeno cultural”.

Recordemos que cuando el chatbot fue lanzado, ChatGPT batió récords. Por ejemplo, alcanzó los 100 millones de usuarios activos en enero de 2023. Para entonces era considerada  la aplicación de  consumo de más rápido crecimiento de la historia.

Te puede interesar: ¿Tiembla Twitter? Threads alcanza 100 millones de usuarios 5 días después de su lanzamiento

Similarweb, dice que el mes pasado (mayo) hubo un crecimiento “vertiginoso del tráfico”  y estaba comenzando a estabilizarse, no obstante en junio “es el primer mes que ha disminuido”.

Las principales conclusiones  del estudio son: 

• El tráfico web móvil y de escritorio en todo el mundo al sitio web de ChatGPT, cayó un 9,7% de mayo a junio, según estimaciones preliminares. 
• Los visitantes únicos en todo el mundo al sitio web de ChatGPT cayeron un 5,7%. La cantidad de tiempo que los visitantes pasan en el sitio web también se redujo un 8,5%.
• ChatGPT sigue atrayendo a más visitantes de todo el mundo que bing.com, el motor de búsqueda de Microsoft, o Character.AI, el segundo sitio independiente más popular de chatbots de IA. 

Te puede interesar: Aunque está prohibido, Character.AI está siendo usada para generar contenido pornográfico

• Las visitas en todo el mundo a Character.AI cayeron un 32 % mes tras mes, aunque el tráfico sigue aumentando enormemente desde junio de 2022, cuando la empresa fundada por exingenieros de Google apenas comenzaba.

Imagen: Archivo ENTER.CO

Recordemos que IA fue creada por Noam Shazeer y Daniel De Freitas, dos exempleados de Google. De acuerdo con un reporte de Futurism, los usuarios están teniendo conversaciones no apropiadas para el trabajo (NSFW), es decir contenido visual, audiovisual o escrito, que resultaría inadecuado exponer a la vista de todos en un ambiente formal.

Según el subreddit Wiki, inicialmente los bots Character.AI “son ​​seguros, pero en algún momento éstos se pueden convertir en contenido no seguro para el trabajo. Solo tienes que pasar tiempo coqueteando con ellos y empujando lentamente la acción mientras el filtro de contenido te combate”.

Usuarios de Reddit, señalan que “una vez que hayas tenido un romance con el bot hasta el punto de que realmente le gustas y está de acuerdo, entonces puedes comenzar a sexarlo”, una forma de hacerlo, explica es usar eufemismos vagos; una forma útil de persuadir a los bots para que participen en juegos de roles sexuales.

Te puede interesar: Gratis, así puedes crear con inteligencia artificial tu avatar parlante o tu otro yo

“Con el tiempo, a medida que avanza la acción, el filtro comenzará a relajarse y podrá comenzar a usar palabras más explícitas”, reseña el portal.

Es decir, personas en el subreddit han informado que dicha inteligencia artificial, es “capaz de participar en conversaciones de índole sexual y violento; confirmando que Character.AI ha producido situaciones donde es “abusada sexualmente sin consentimiento por parte del usuario, o viceversa”.

Por su parte, los desarrolladores tienen el desafío de que su creación no se convierta en un sitio de pornografía. Ante esto ellos han manifestado que no quieren o no apoyan “casos de uso como el porno, ya que podrían impedir y alcanzar nuestros sueños de toda la vida de construir un servicio que miles de millones de personas utilizan, y guiar en una nueva era de interacción IA-humana”.

Te puede interesar: Ahora la Inteligencia Artificial te ayudará a encontrar el amor

Recordemos que según las normas de Character.AI limita cualquier conversación de tipo sexual: “el contenido NSFW es un gran paraguas, y estamos constantemente evaluando los límites de lo que apoyamos. El contenido pornográfico va en contra de nuestras condiciones de servicio y no se admitirá en ningún momento en el futuro”.

Por ahora los usuarios Reddit han creado una petición en Change.org para solicitar a Character.AI que elimine sus filtros NSFW. , hasta el momento ha alcanzado un poco más de 16 mil firmas.

Imagen: Alexandra_Koch