Nightshade: la nueva herramienta para envenenar la IA que servirá a los artistas
Se trata de un software capaz de confundir a la Inteligencia Artificial.
La Inteligencia Artificial ya es capaz de crear cuadros, generar imágenes con cualquier elemento o emular estilos pictóricos. Para acometer esta tarea, es entrenada a través de obras artísticas reales, creadas por artistas que, en muchos casos, no reciben remuneración por ello. Ante esta situación los artistas se están rebelando contra la IA, y pronto podrán usar una herramienta letal para combatirla: Nightshade.
Un software que altera las imágenes para confundir a la IA
Según indica el MIT Technology Review, se trata de un software de código abierto que ha sido desarrollado por investigadores de la Universidad de Chicago. A su vez, está será incluida en Glaze, una herramienta aún mayor desarrollada por los mismos investigadores, que impedía a las IA ser entrenadas con las obras de arte que las empleasen. Esta última alteraba las imágenes de forma imperceptible para el ojo humano, pero de manera que una IA se confundiese, no pudiendo usarlas para aprender. Sin embargo, Nightshade da un paso más: contraataca.
La diferencia entre Glaze y Nightshade radica en que está última "estropea" el correcto funcionamiento de la IA. Su modus operandi consiste en clasificar erróneamente los conceptos que aparecen en la obra para que la máquina los aprenda mal. Un ejemplo básico, que se ha empleado con éxito para sus creadores, es hacer creer a la IA que un perro es un gato, y viceversa.
What is Nightshade? It's a tool that performs a data poisoning attack against generative AI image models. Poisoning is not new. Poisoning genAI models at scale is new. You can read the MIT TR article for the high level story. For details, here's the paper: https://t.co/0mIZgOl1Fp
— Glaze at UChicago (@TheGlazeProject) October 24, 2023
Durante los ensayos Nightshade consiguió que los nombres de los perros y gatos se alteren, de forma que cuando se le pedía a Stable Diffusion (una IA generativa bastante fiable) dibujar un perro, dibujaba un gato. En las primeras 50 pruebas, cuando se le exigía dibujar un perro, dibujaba perros, pero con un aspecto perturbador. A las 100 imágenes dibujaba gatos cuando se le pedían perros. Finalmente, a las 300, cuando se le exigía generar un gato, generaba perros. Adicionalmente, la IA era incapaz de generar perros o gatos correctamente aunque se le diesen indicaciones concretas, empleando etiquetas, como "cachorros" o refiriéndose a razas de perros concretas. Había sido inutilizada.
https://x.com/TheGlazeProject/status/1716701138869752256?s=20
De este modo, los artistas podrán envenenar la IA, pese a que todavía no se ha revelado cuándo se liberará la versión final para que cualquiera pueda usarla. Enseñar a un modelo de lenguaje es costoso y lleva tiempo, lo cual dificultará su actuación, aunque lo más dañino para este es que deberá ser reprogramada y empezar desde 0 si es envenenada lo suficiente. La polémica del uso de la IA en el arte no se limita a los cuadros e imágenes, sino también a la música, aunque algunos entes, como YouTube, están intentando regularlo.