OpenAI admite que espía conversaciones de ChatGPT y las denuncia a la policía
La compañía escanea conversaciones privadas y puede alertar a las autoridades si detecta amenazas, generando críticas por falta de transparencia y riesgos de privacidad
OpenAI ha admitido que escanea las conversaciones de los usuarios con ChatGPT y denuncia a la policía aquellos casos que considera suficientemente amenazantes. La empresa lo ha revelado discretamente en una extensa publicación sobre los daños mentales graves que puede provocar su IA conversacional, pero la noticia ha generado una avalancha de críticas de expertos en privacidad digital y usuarios en redes sociales.
Como informa Futurism, cuando OpenAI detecta usuarios que parecen estar planeando hacer daño a otros, las conversaciones pasan a un equipo especializado que puede vetar cuentas e, incluso, alertar a las autoridades si considera que existe una amenaza inminente de daño físico grave. Aquí surge una duda importante: ¿quién decide exactamente el umbral de la amenaza y cómo se garantiza que ese criterio responda a estándares legales claros?
Moderadores humanos y denuncias policiales: cómo funciona el sistema
Los moderadores humanos analizan el tono y el contenido de las conversaciones, algo que contradice la promesa de una IA capaz de resolver problemas complejos sin intervención directa. También surgen dudas sobre cómo OpenAI obtiene la localización precisa de los usuarios para facilitarla a los servicios de emergencia, y qué garantías existen contra el abuso de terceros como los swatters, que podrían aprovechar este sistema para provocar intervenciones policiales injustificadas.
Las críticas han llegado rápidamente. Investigadores, abogados y tecnólogos han señalado los peligros de involucrar a fuerzas policiales armadas en situaciones donde una crisis de salud mental podría empeorar por una intervención agresiva. "Ah sí, involucrar a la policía. Seguro que ayuda", escribió con ironía John Darnielle, novelista y músico, expresando el descontento que ha provocado esta medida entre muchos usuarios y expertos.
OpenAI asegura que limita sus denuncias a casos de potencial daño a terceros —excluyendo, por ahora, aquellos de autolesiones—, pero existe un precedente claro de cómo la vigilancia tecnológica tiende a crecer por presión pública, corporativa o gubernamental. El desarrollo actual de la IA sigue patrones similares a los que ya vimos con la industria tecnológica, que colabora activamente con agencias gubernamentales, tal y como destapó Edward Snowden.
Esta postura contrasta con las declaraciones recientes del CEO de OpenAI, Sam Altman, quien defendía que la privacidad de los usuarios debería estar al nivel de un terapeuta, abogado o médico. Para juristas y defensores públicos, esta ausencia de confidencialidad supone riesgos importantes, especialmente para los abogados que utilizan la IA en asesoramiento o análisis sobre delitos, como ya ocurrió anteriormente cuando miles de conversaciones privadas acabaron indexadas en Google.
El contexto empeora si consideramos los recientes problemas de OpenAI. La empresa ha tenido que implementar controles parentales después de una demanda relacionada con la muerte de un adolescente que usaba ChatGPT, mientras que varios casos de crisis mentales vinculadas a la IA han puesto sobre la mesa los peligros psicológicos del uso masivo de estas herramientas.
OpenAI parece haber decidido que la solución a los problemas psicológicos y sociales de su herramienta es más vigilancia humana y posibilidad de intervención policial. Algunos expertos consideran esta situación como algo previsible cuando se exige a la empresa que implemente barreras frente a contenidos dañinos, pero la ven como una solución autoritaria que no aborda el problema de fondo.
Este escándalo se suma a otros problemas de privacidad que arrastra la compañía, como la venta de datos de usuarios de plataformas como Tumblr y WordPress para entrenar sus modelos de IA, creando un historial problemático en el tratamiento de información personal de los usuarios.
Los hechos muestran los riesgos de lanzar productos de IA que no comprendemos completamente, convirtiendo a los usuarios en sujetos de prueba y ofreciendo respuestas improvisadas a problemas graves. Cada vez estamos más vigilados, incluso en nuestros momentos más privados frente a una pantalla, y el futuro de la inteligencia artificial requiere un debate profundo sobre privacidad, derechos y límites que OpenAI ha vuelto a situar en primera línea.