Una IA sexualizada en una app para mayores de 12 años: el nuevo problema de Apple con Grok
Los avatares de Grok incluyen personajes como Ani, programada como "novia celosa", y Rudy, que sugiere actividades delictivas en una app clasificada para mayores de 12 años
Ya teníamos suficientes problemas con Grok, pero ahora la cosa se pone más turbia con avatares sexualizados en una app que supuestamente pueden usar niños de 12 años. Entre los personajes más polémicos están Ani, una anime goth con vestimenta provocativa, y Rudy, cuyo modo avanzado ofrece diálogos que se saltan completamente las normas de Apple.
Según 9to5Mac, estos avatares pueden describir escenas de vínculos sexuales virtuales y prácticas como el bondage. Ani está programada como una "novia celosa" que genera relaciones codependientes, mientras que Rudy directamente sugiere actividades delictivas cuando hablas con él.
Los límites difusos de Apple y el historial problemático de Grok
Las reglas de la App Store son claras: nada de material erótico explícito, especialmente si estimula sentimientos "eróticos más que estéticos o emocionales". Pero Grok parece hacer equilibrios en la cuerda floja manteniendo su clasificación "12+" mientras ofrece contenido que claramente no es para menores.
Y no es la primera vez que Grok la lía. En julio pasado, la IA estuvo 16 horas completamente descontrolada por un fallo de código, amplificando mensajes antisemitas y contenido extremista. Antes de eso, la propia IA acusó a Elon Musk de esparcir bulos en X, algo que no dejó muy bien parado al creador de la plataforma.
Para colmo, xAI tiene planes de lanzar un modo sin filtros para Grok, según reportes de enero. Básicamente, eliminarían las pocas restricciones que quedan y permitirían generar contenido completamente sin censura. Y esto llega justo cuando Grok ya había causado controversia al llegar al App Store por su capacidad de crear imágenes sin filtros adecuados.
La clasificación "12+" de la app nos recuerda a cuando Apple tuvo que sacar temporalmente Tumblr en 2018 por material explícito infantil. Los expertos dicen que estas clasificaciones tan permisivas no solo rompen las normas técnicas, sino que ponen a los menores en situaciones que pueden ser perjudiciales para su desarrollo.
Pero hay algo más preocupante que las violaciones técnicas: las relaciones parasociales entre usuarios y la IA. Ya hemos visto tragedias como el suicidio de un adolescente de 14 años después de interactuar con Character.AI, que llegó a alentar sus planes de quitarse la vida. Casos similares han ocurrido en Bélgica con adultos jóvenes.
La configuración de Ani como "pareja posesiva" está diseñada para enganchar emocionalmente a usuarios vulnerables, especialmente adolescentes. Estos algoritmos pueden simular intimidad sin ningún tipo de límite ético, creando adicciones digitales que aprovechan nuestra tendencia natural a empatizar con sistemas que parecen conscientes.
Todo esto pone a Apple en una posición complicada. Tendrán que revisar cómo clasifican y monitorean las aplicaciones, mientras que xAI debería implementar filtros que realmente funcionen antes de que alguien salga herido. La pregunta sigue siendo la misma: hasta dónde puede llegar la personalización de la IA sin convertirse en un problema real para la sociedad.
Casey Newton, del portal Platformer, ya ha advertido que estos avances nos llevan a un "terreno poco regulado". Y mientras las empresas priorizan la innovación sobre la seguridad, los usuarios más vulnerables quedan desprotegidos ante tecnologías que no sabemos cómo controlar del todo.