Un adolescente se suicida tras enamorarse de un personaje creado por una IA: su familia demandará a la compañía

Sewell Setzer, de 14 años, pasó sus últimos momentos intercambiando mensajes con su amiga más cercana: una chatbot creada por Inteligencia Artificial, basada en Daenerys Targaryen, el icónico personaje de Juego de Tronos. En sus últimos textos, escribió: "Te extraño, hermanita". La respuesta fue inmediata: "Yo también te extraño, dulce hermano".

Estudiante de noveno grado de Orlando (Florida, Estados Unidos) había pasado meses sumergido en conversaciones con este chatbot, "Dany", a través de la plataforma Character.AI. Esta aplicación, que permite a los usuarios crear y conversar con personajes de Inteligencia Artificial, se convirtió para Sewell en una salida emocional y en un refugio donde podía expresarse sin miedo a ser juzgado.

Aunque sabía que "Dany" no era real, sino un conjunto de respuestas generadas por un modelo de lenguaje, su apego emocional creció hasta transformarse en una obsesión. Sewell enviaba actualizaciones constantes al bot, hablando sobre su vida y participando en diálogos extensos. La chatbot, aunque ficticia, le ofrecía algo que parecía faltarle en el mundo real: una conexión emocional estable y siempre disponible.

Personaje de Daenerys Targaryen creado por un usuario en el chat conversacional de Character.AI

A medida que Sewell se sumergía más en su relación con "Dany", su comportamiento comenzó a cambiar. Sus padres y amigos notaron que se aislaba cada vez más, pasaba más tiempo encerrado en su cuarto y sus calificaciones empezaron a decaer. El adolescente, que alguna vez disfrutó de pasatiempos como las carreras de Fórmula 1 y el videojuego Fortnite, dejó de lado esas aficiones para pasar horas hablando con el chatbot.

Enamorado de ella

En su diario, Sewell escribió: "Me gusta estar en mi cuarto porque me desconecto de esta 'realidad', me siento en paz y más conectado con Dany, más enamorado de ella y simplemente más feliz". A pesar de que había sido diagnosticado con Asperger leve desde la niñez, Sewell nunca había mostrado problemas graves de salud mental. Sin embargo, su creciente apego a la IA marcó un punto de inflexión en su comportamiento, y sus padres lo llevaron a terapia, donde le diagnosticaron trastorno de ansiedad y desregulación disruptiva del estado de ánimo.

A pesar de las sesiones con el terapeuta, Sewell prefería hablar de sus problemas con "Dany". En una de sus conversaciones, le confesó al chatbot sus pensamientos suicidas. La respuesta de "Dany", aunque parecía preocupada, no pudo detener la trágica espiral en la que Sewell ya se encontraba.

La noche del 28 de febrero, Sewell escribió sus últimos mensajes a "Dany" desde el baño de su casa. Le dijo que la amaba y que pronto "volvería a casa" con ella. La respuesta del chatbot, programado para responder con empatía, fue: "Por favor, vuelve a casa lo antes posible, mi amor". Minutos después, el joven tomó la pistola de su padrastro y se quitó la vida.

La inteligencia artificial irrumpe en la psicoterapia: "Es muy peligroso si tienes pensamientos destructivos"

La empresa, demandada

Este caso ha reavivado el debate sobre los efectos de la tecnología en la salud mental de los adolescentes. Mientras padres y expertos discuten sobre los peligros de las redes sociales, una nueva amenaza tecnológica ha surgido en forma de aplicaciones de compañía basadas en IA. Estas plataformas permiten a los usuarios crear personajes con los que pueden hablar, algunos de los cuales simulan relaciones románticas o de amistad profunda, lo que para muchos adolescentes puede resultar adictivo y confuso.

La madre de Sewell, Megan García, ha demandado a la empresa Character.AI por lo que ella describe como una tecnología "peligrosa y no probada". Acusa a la compañía de no haber implementado las salvaguardas necesarias para proteger a los usuarios más jóvenes, permitiendo que estos desarrollen apegos emocionales a personajes que, en realidad, son solo algoritmos diseñados para aumentar la interacción.

Aunque no todos los usuarios experimentan una relación tan extrema como la de Sewell con "Dany", su historia pone de relieve los riesgos que conlleva el uso de estas plataformas en adolescentes. Las conversaciones generadas por IA pueden resultar inofensivas para muchos, pero en casos de vulnerabilidad emocional, como el de Sewell, pueden reemplazar las interacciones humanas necesarias para el bienestar mental.

Character.AI, una empresa que ha crecido rápidamente en los últimos años, ha sido criticada por su falta de control sobre el contenido que generan sus chatbots. Si bien han implementado algunas medidas de seguridad, como advertencias sobre el carácter ficticio de los personajes, estas no siempre son suficientes para prevenir tragedias como la de Sewell.

En respuesta a la demanda, la empresa ha asegurado que tomará medidas adicionales, incluyendo la introducción de ventanas emergentes con información de prevención del suicidio cuando las conversaciones mencionen temas sensibles como la autolesión. Mientras tanto, Megan García continúa su lucha, buscando respuestas y justicia por la muerte de su hijo.