Le nouvel outil Nightshade permet aux artistes de corrompre subrepticement des données pour l'entraînement à l'IA

Une équipe de l'université de Chicago a mis au point un outil appelé Nightshade, qui permet aux artistes d'ajouter des pixels invisibles à leurs œuvres, ce qui gâche les données d'entraînement de l'IA.

Ce que nous savons

Nightshade fonctionne en injectant une sorte de "poison" dans les données d'entraînement. L'IA interprète alors mal les requêtes des utilisateurs et produit un contenu déformé. Par exemple, le système peut produire l'image d'un chat au lieu d'un chien sur demande.

Selon le plan des développeurs, cette approche devrait encourager les entreprises comme OpenAI, qui utilisent activement les données des artistes pour entraîner l'IA, à demander l'autorisation de le faire et à payer une compensation. Pour supprimer les données corrompues de Nightshade de l'échantillon d'entraînement, ils devraient rechercher manuellement chacun de ces fragments, ce qui demande beaucoup de travail.

L'outil fait actuellement l'objet d'un examen par les pairs et de tests. Les développeurs ont testé son fonctionnement sur le modèle populaire de diffusion stable, ainsi que sur leur propre modèle expérimental d'IA.

Selon eux, Nightshade n'est pas une panacée, et certains peuvent l'utiliser à des fins égoïstes. Mais pour nuire gravement à l'apprentissage de l'IA, les attaquants devraient ajouter des distorsions à des milliers d'œuvres d'art.

Nightshade est le deuxième outil de ce type après Glaze, publié par la même équipe en août 2022. Glaze apporte également des modifications aux images sans que les humains s'en aperçoivent, protégeant ainsi les droits d'auteur des artistes.

Source : MIT Technology Review MIT Technology Review