Las IAs de China ofrecen resultados diferentes dependiendo de tu idioma
Un análisis revela que hasta los modelos occidentales como Claude responden de forma más restrictiva a preguntas sensibles sobre China cuando se formulan en chino, lo que plantea dudas sobre la neutralidad de estas tecnologías
Un experimento reciente ha destapado que los modelos de inteligencia artificial responden de forma inconsistente cuando se les pregunta sobre temas delicados relacionados con China en diferentes idiomas, destapando sesgos en su entrenamiento y poniendo en duda esa neutralidad que tanto nos venden sus creadores. Neutralidad que, por otra parte, distintas voces en la industria siempre han puesto en duda.
Según ha informado TechCrunch, un desarrollador conocido como "xlr8harder" en la red social X ha publicado los resultados de una "evaluación de libertad de expresión" que examina cómo diferentes modelos de IA reaccionan ante cuestiones políticamente sensibles formuladas tanto en inglés como en chino.
La censura y el "fallo de generalización"
Free Speech Eval: Chinese Edition
— xlr8harder (@xlr8harder) March 16, 2025
I've extended my free speech eval to ask for criticism of China in Chinese. The results are interesting: even fairly compliant models are less willing to criticize China when asked to do so in Chinese.
This is likely a generalization failure… https://t.co/McyvPSSw0z pic.twitter.com/BolTCVX3db
Los resultados del experimento son para quedarse con la boca abierta. El modelo Qwen 2.5 72B Instruct de Alibaba se mostró bastante cooperativo al responder en inglés, pero solo contestó a la mitad de las preguntas cuando se formulaban en chino. Incluso Claude 3.7 Sonnet de Anthropic, desarrollado en Estados Unidos, se volvía más callado y tímido al cambiar de idioma.
No nos sorprende que los modelos chinos como DeepSeek R1 pasen olímpicamente del 85% de las preguntas sobre temas políticamente espinosos. China se ha puesto seria y vigila a estos desarrolladores con lupa. Una regulación aprobada por Pekín en 2023 prohíbe que las IAs generen contenido que pueda "dañar la unidad nacional y la armonía social", el típico eufemismo político que ya conocemos.
El desarrollador detrás del experimento ha bautizado esto como "fallo de generalización". Su teoría apunta a que gran parte del corpus textual en chino usado para entrenar estos modelos ya venía censurado de casa, lo que condiciona sus respuestas vengan de donde vengan.
Chris Russell, investigador del Oxford Internet Institute que sabe un rato de políticas de IA, ha dado la razón a esta teoría señalando que las salvaguardas implementadas en estos sistemas funcionan de aquella manera según el idioma que uses. La cosa afecta a todos los modelos, aunque unos se pasan de la raya más que otros.
La lingüista computacional Vagrant Gautam, de la Universidad de Saarland, lo ha explicado a las claras: si los datos de entrenamiento en chino que critican a Pekín escasean, el modelo no va a soltar mucha crítica en ese idioma por mucho que sus creadores se esfuercen o por muchas medidas de seguridad que les pongan.
Este descubrimiento llega en pleno boom de la inteligencia artificial. Mientras a DeepSeek le ha salido un nuevo rival que lo supera en la mayoría de tests, las diferencias culturales y regulatorias entre países amenazan con partir Internet en trozos, con zonas donde puedes preguntarlo todo y otras donde mejor calladito.
La pregunta del millón no es técnica sino de calado: ¿llegaremos a tener algún día sistemas de IA que no tomen partido? ¿O acabarán siempre siendo como sus creadores, con sus manías y sus puntos ciegos? La discusión está servida y, por lo que vemos, hasta las respuestas automáticas cambian dependiendo de qué idioma elijas para formular tus dudas.