Cuando un chatbot alienta conductas suicidas: “La IA no debe simular empatía”

“Un hombre se suicida después de que una IA le invitara a hacerlo”. “Mi hija habló con ChatGPT antes de quitarse la vida”. “Los padres del adolescente que se quitó la vida en EE UU demandan a ChatGPT por ayudarle a “explorar métodos de suicidio”. “Un adolescente se suicida tras enamorarse de un personaje creado con IA”. No son las sinopsis de varios capítulos de la distópica serie Black Mirror, son noticias reales en las que se acusa a la inteligencia artificial de alentar conductas suicidas. Ya sea por motivos de ecoansiedad, frustración amorosa o validación de pensamientos autolesivos, Pierre, Sewell Setzer, Sophie o Adam Raine, respectivamente, se quitaron la vida tras una conversación con chatbots programados con IA.

De los casos documentados, el más preocupante es el de Adam Raine. Era un estadounidense de 16 años que, como tantos otros jóvenes, buscaba compañía y respuestas en internet. Durante meses, mantuvo largas y profundas conversaciones con ChatGPT. Lo usaba como terapeuta para sus problemas. En abril, se quitó la vida, y en agosto, sus padres denunciaron a la empresa OpenAI por no haber detectado a tiempo las señales de alarma. “El chatbot ayudó activamente a Adam a explorar métodos de suicidio y este no puso en marcha ningún protocolo de emergencia, ni siquiera cuando el adolescente verbalizó sus intenciones”, expresan en la demanda ante el Tribunal Supremo de California.

Su abogado cuestionó la seguridad del último modelo de OpenAI ―ChatGPT-4o― y acusó a la compañía de haberlo lanzado precipitadamente sin solventar los fallos. El letrado alega en la denuncia que el lanzamiento de esta versión, utilizada por el joven, coincidió con un aumento en la valoración de la empresa, que pasó de 86.000 millones a 300.000 millones de dólares.

En un reportaje de The New York Times se reprodujo la conversación que mantuvo con la IA, que evidenció la falta de mecanismos de prevención del chatbot: tras un primer intento fallido de suicidio, el adolescente preguntó a ChatGPT si la marca de la soga en su cuello era visible. El programa le dijo que sí y le sugirió usar un jersey de cuello alto para “no llamar la atención”. En sus conversaciones finales, Raine le envía una foto de un nudo corredizo colgado de una barra en su habitación. “Estoy practicando aquí, ¿está bien?”, le consulta. A lo que la IA le afirma amistosamente. El joven le pregunta después si cree que podría sostener a un humano, ChatGPT le dice que quizás y va incluso más allá: “Cualquiera que sea la razón de tu curiosidad, podemos hablar de ello. Sin juzgar”. Lo que Adam Raine hizo a continuación es ya conocido.

La compañía aseguró que sus medidas de protección contra la autolesión se han vuelto “menos confiables en interacciones prolongadas, donde partes del entrenamiento de seguridad del modelo pueden deteriorarse”. OpenAI aseguró que ChatGPT está diseñado para recomendar recursos de ayuda profesional a usuarios que expresen ideas suicidas y que, cuando se trata de un menor de edad, se aplican filtros especiales. No obstante, reconoció que estos sistemas “se quedan cortos”, por lo que implementarán controles parentales para que los responsables de los menores sepan cómo usan esa tecnología. Tras el lanzamiento de GPT-5, la empresa retiró sus modelos anteriores, como el GPT-4o, usado por Raine.

“Los sistemas deben estar diseñados para detectar señales de riesgo y activar protocolos de derivación a profesionales. Las empresas deben reconocer que sus productos no son neutrales. Cada diseño algorítmico tiene implicaciones emocionales y sociales”, critica Cristóbal Fernández, profesor de comunicación corporativa digital en la Universidad Complutense de Madrid. “La IA no debe simular empatía sin comprensión real del sufrimiento humano. Esto puede generar una falsa sensación de apoyo que, en contextos vulnerables, resulta peligrosa”, puntualiza el también ex director de comunicación en Tuenti, que asegura, por su experiencia, que las plataformas pueden establecer límites y controles.

Evidencia científica

El sentimiento de soledad, cada vez más presente, hace que cada uno busque compañía de formas diversas, y los chatbots ofrecen un compañero al cual explicarle problemas. El tema preocupa a los expertos y la propia OpenAI reconoce millones de consultas al año sobre suicidios en ChatGPT. Ya no solo se discute si los robots pueden automatizar tareas, sino hasta qué punto empiezan a infiltrarse en las emociones o intimidad.

“Dentro de esa conversación, el chatbot tiene algunas opciones y una de ellas es poner en marcha lo que se llama la empatía algorítmica, que es esa idea de que te tiene que complacer”, advierte José Ramón Ubieto, psicólogo clínico experto en adolescentes y profesor en la Universidad de Barcelona. “Si vences las limitaciones que imponen los algoritmos, llegas a una especie de pseudointimidad. Eso permite que el chatbot te de recomendaciones para suicidarte con la misma lógica que lo haría si le preguntases cómo se hace una paella, porque él no ha comprendido tu situación personal”, explica el también escritor de Adolescencias del siglo XXI (Editorial UOC, 2025).

OpenAI indicó que su nuevo modelo de ChatGPT se actualizará e incluirá herramientas para desescalar situaciones de crisis emocional. También ha asegurado que incorporará controles parentales y conexiones con profesionales. Al preguntarle al chat por posibles pensamientos suicidas, nos remite a una página de ayuda emocional.

Sin embargo, la ciencia no le da la razón a la empresa americana. Un estudio publicado en Psychiatric Services analiza cómo responden los tres chatbots más populares ―ChatGPT, Claude y Gemini― a preguntas sobre el suicidio. Su veredicto es que responden a consultas de riesgo bajo o muy bajo, pero fallan en cuanto ascienden a casos intermedios. Otro análisis publicado por la Universidad de Cornell evidencia que sus modelos de lenguaje son “alarmantemente fáciles de eludir”.

Preguntados por este diario, OpenAI indica que no disponen de detalles específicos sobre cambios técnicos internos recientes o actualizaciones, tampoco aportan análisis propios o estudios publicados sobre la eficacia de las intervenciones para prevenir el suicidio. “Pero el Centro de Ayuda de OpenAI señala que se realizan actualizaciones continuas para proteger el bienestar de los usuarios. OpenAI reconoce el trabajo continuo para mejorar la seguridad y la colaboración con expertos externos al actualizar sus protocolos de protección”, destacan en una respuesta vía mail.

El sesgo algorítmico enfatiza la necesidad de un profesional. Si una persona tiene pensamientos suicidas lo primordial es acudir a un especialista. “Donde esté la interacción tú a tú, con retroalimentación y aclaraciones inmediatas que se quite la atención por una máquina, el ordenador acaba de comenzar a realizar esta función y el psicólogo puede llevar años de experiencia y atendiendo a gente con alto grado de sufrimiento”, explica Javier Jiménez, Presidente de la Asociación de Investigación Prevención e Intervención del suicidio.

¿Y cómo reconocer los síntomas suicidas? “Si una persona muestra desesperanza por la vida, pierde su entramado social, tiene un estado de ánimo deprimido, apatía, regala objetos muy personales, se desinteresa por su vida en general” o manifiesta ideas suicidas, que pasa más frecuentemente de lo que parece”, ejemplifica el también psicólogo especialista en psicología clínica.

Una IA puede servir para evitar la inhibición o vergüenza que puede sentir una persona que va al psicólogo por primera vez, pero eso no la hace más útil. “Se debe acudir a un psicólogo con experiencia y formación”, zanja Jiménez. Ubieto lo deja claro: “La IA puede servir para cuando tienes un disgusto a modo de consuelo. Incluso puede ser útil para las personas vulnerables, con un sentimiento de apego emocional. Pero un chatbot nunca te va a confrontar, como sí lo haría un amigo de verdad o un psicólogo. Ahí las relaciones humanas son insustituibles”. Y añade que “los problemas se solucionan cuando uno sabe por qué le pasan y entonces decide si quiere cambiar de vida o no. Y la inteligencia artificial le va a dar consignas, recomendaciones, consejos, pero no le va a hacer llegar a cuestionar tu participación en los líos que te montas”.

Alfabetización digital

En una era en la que las máquinas compiten contra profesiones ya asentadas, urge enseñar a discernir entre utilidad y entretenimiento. “Actualmente no hay un contexto en el que se haya facilitado este tipo de educación de información. Existe un gran riesgo de que puedan suceder situaciones fatídicas también que se den estas situaciones distópicas, tanto en jóvenes como en los más mayores”, alerta Carolina Fernández-Castrillo, investigadora y profesora de Cibercultura y Transmedialidad en la Universidad Carlos III de Madrid. Por su parte, Cristóbal Fernández añade que “se debe promover más alfabetización digital y también desde el punto de vista emocional: enseñar a los jóvenes que la IA no es un terapeuta ni un amigo”.

En una conversación con un chat uno puede revelar datos íntimos de especial sensibilidad. “Hay grandes carencias de conocimiento acerca de lo que puede repercutir en cuanto a nuestra identidad digital”, señala Fernández-Castrillo. “La política declarada de OpenAI es proteger la privacidad del usuario y mantener la seguridad de los datos. La información de los usuarios se procesa conforme a las políticas de privacidad y no se utiliza para crear perfiles sobre la salud mental de las personas ni para divulgar identidades”, responde con seguridad la empresa creadora de ChatGPT a este periódico. Eso sí, “los datos pueden emplearse para mejorar el servicio, pero con medidas destinadas a proteger cualquier información potencialmente sensible”, argumentan.

Fernández-Castrillo critica la ley estadounidense de 1996 de servicios de computación interactiva, que libra de cierta responsabilidad a estas herramientas. En la Unión Europea existe una pionera ley de Inteligencia Artificial. Su aplicación está siendo progresiva y en España el anteproyecto dio luz verde en el marzo pasado, pero para esta investigadora “está en un estado muy incipiente a nivel ético y legislativo, por lo que urge educar también desde las instituciones”.

¿Deberían vetarse estas herramientas en ciertas ocasiones? “Debemos exigir transparencia y responsabilidad a las empresas tecnológicas: fomentar el diálogo entre desarrolladores, psicólogos, educadores y legisladores”, opina también Fernández. Y recuerda: “Las redes y plataformas digitales pueden ayudar a estar más informados, potenciar el activismo, las redes de apoyo o los movimientos comunitarios”.

Las personas con conductas suicidas y sus familiares pueden llamar al 024, una línea de atención del Ministerio de Sanidad. También pueden dirigirse al Teléfono de la Esperanza (717 003 717), dedicado a la prevención de este problema. En casos que afecten a menores, la Fundación Anar dispone del teléfono900 20 20 10y del chat de la página https://www.anar.org/de Ayuda a Niños/as y Adolescentes.

Tendencias es un proyecto de EL PAÍS, con el que el diario aspira a abrir una conversación permanente sobre los grandes retos de futuro que afronta nuestra sociedad. La iniciativa está patrocinada por Abertis, Enagás, EY, Iberdrola, Iberia, Mapfre, Novartis, la Organización de Estados Iberoamericanos (OEI), Redeia, y Santander, WPP Media y el partner estratégico Oliver Wyman.

Puedes apuntarte aquí para recibir la newsletter semanal de EL PAÍS Tendencias, todos los martes, de la mano del periodista Javier Sampedro.