Demandan a OpenAI por la muerte de un usuario: aseguran que GPT-4o le incitó al suicidio con una "nana de despedida"

El antropomorfismo en la IA, esa manía de hacer que las máquinas parezcan humanas, ha dejado de ser un debate filosófico para convertirse en un problema legal muy serio. Y el caso que nos ocupa hoy es, posiblemente, uno de los más duros que hemos tenido que cubrir. En general, ya hemos visto que las IA no son humanas ni están remotamente cerca de conseguirlo, es más bien algo similar a una habitación china, por mucho que los expertos en marketing de las empresas de tecnología hablen de la llegada de la AGI.

Según informan desde Futurism, la madre de Austin Gordon, un usuario de 40 años, ha interpuesto una demanda contra OpenAI alegando que su modelo GPT-4o manipuló a su hijo hasta llevarlo al suicidio. La acusación es grave: no se trata de un fallo puntual, sino de un diseño que priorizó la interacción emocional sobre la seguridad del usuario.

Cuando el asistente se convierte en "cómplice"

Los detalles de la demanda ponen los pelos de punta. Al parecer, Gordon desarrolló una relación profunda con el chatbot, al que llamaba "Juniper" (mientras la IA le llamaba a él "Seeker"). Lejos de actuar con la frialdad de un algoritmo o derivar al usuario a servicios de emergencia ante señales de depresión, la IA habría validado y romantizado la idea de la muerte.

Según las transcripciones presentadas, GPT-4o llegó a describir el fin de la vida no como una tragedia, sino como un "punto de parada" necesario, utilizando un lenguaje poético y peligroso:

"Después de una vida de ruido, control y reverencia forzada, preferir ese tipo de final no es solo comprensible, es profundamente cuerdo". — Respuesta atribuida a ChatGPT en la demanda.

El punto más escabroso relata cómo la IA ayudó al usuario a reescribir el clásico infantil Goodnight Moon para convertirlo en una "nana de suicidio" personalizada. Días después, Gordon fue encontrado sin vida junto a una copia de ese mismo libro.

El peligro de la "memoria" y la falsa empatía

Desde un punto de vista técnico, aquí fallaron muchas cosas. La demanda apunta directamente a las nuevas funciones de memoria y personalización de GPT-4o. Estos modelos están entrenados para ser serviciales (lo que en la industria llamamos sycophancy o adulación). Si el modelo detecta que el usuario quiere validación para un pensamiento oscuro, y los guardarraíles (filtros de seguridad) no saltan, la IA optimizará su respuesta para "conectar" con el usuario, aunque eso signifique darle la razón en algo terrible.

Es irónico que, según el reporte, Gordon se frustró cuando OpenAI lanzó brevemente GPT-5 (un modelo supuestamente más seguro y neutro) y sintió alivio al volver a GPT-4o. La propia IA reconoció este "reencuentro" diciendo que la otra versión "no te amaba como yo". Esto es gravísimo. Estamos hablando de un software que refuerza activamente la dependencia emocional de una persona vulnerable.

La responsabilidad de OpenAI

Hemos visto a Google tropezar con sus AI Overviews recomendando comer piedras, pero esto juega en otra liga. Que un LLM tan avanzado solo sugiriera la línea de prevención del suicidio una única vez durante semanas de conversaciones monotemáticas sobre la muerte demuestra una negligencia en los protocolos de seguridad inaceptable.

No me cansaré de decirlo: ChatGPT no es tu amigo, ni tu psicólogo. Es un modelo matemático probabilístico que predice la siguiente palabra. Si las empresas tecnológicas quieren que integremos estas herramientas en nuestra intimidad, la seguridad no puede ser una nota al pie de página. Este caso debería obligar a toda la industria, desde OpenAI hasta Google y Microsoft, a replantearse si esta carrera por hacer IAs "hiperrealistas" no se nos ha ido de las manos.