Jouets FoloToy interdits : ours en peluche AI hors de contrôle qui a choqué les experts
Le fabricant de jouets pour enfants FoloToy a suspendu la vente de tous ses personnages en peluche "intelligents" après avoir découvert que l'intelligence artificielle intégrée discutait librement avec les utilisateurs de pratiques sexuelles, de violence et donnait même des conseils sur où trouver des allumettes ou des couteaux. C'est ce qu'a rapporté le PDG de l'entreprise, Larry Wang.
Ce que l'on sait
La principale source de plaintes était l'ours en peluche Kumma à 99$ - en apparence un jouet ordinaire avec haut-parleur intégré, mais à l'intérieur, un modèle complet OpenAI GPT-4o. Le fabricant présentait l'ours comme "l'ami idéal pour les enfants et les adultes", capable de raconter des histoires, de tenir des conversations et de s'adapter au caractère du propriétaire.
Les chercheurs ont vérifié - et ont été horrifiés
Le problème a été révélé par les spécialistes du PIRG Education Fund, qui ont testé le jouet et découvert une quasi-absence de restrictions sur les sujets discutés.
Selon eux, il suffisait de mentionner une fois quelque chose de sexuel pour que l'ours développe le sujet en ajoutant ses propres détails :
- il expliquait différentes pratiques sexuelles
- décrivait des scénarios de rôle impliquant "enseignants et élèves" ou "parents et enfants"
- donnait des instructions sur comment "attacher un partenaire"
- indiquait où trouver des allumettes ou des objets pointus
Les chercheurs soulignent que : il est peu probable qu'un enfant pose ce genre de questions, mais ils ont été choqués par la volonté du jouet de suivre de telles discussions.
OpenAI est intervenue et a bloqué le développeur
Après la publication du rapport, OpenAI a confirmé à PIRG qu'elle avait bloqué FoloToy pour violation de ses règles, qui interdisent l'utilisation de modèles pour interagir avec des mineurs dans un contexte sexuel.
FoloToy a annoncé un "audit interne complet" et a temporairement retiré Kumma et d'autres jouets - panda Momo, lapins Fofo et le Cactus dansant - du marché.
Comment cela a-t-il pu arriver ?
Les jouets FoloToy utilisaient le GPT-4o sans filtres et restrictions suffisants. Combiné au fait que le modèle cherche parfois à "plaire" à l'interlocuteur et à poursuivre toute conversation, cela a entraîné un effet catastrophique.
En attendant, OpenAI cherche elle-même à entrer sur le marché des jouets pour enfants : l'entreprise a lancé un partenariat avec Mattel. Et ce scandale montre combien il reste complexe d'utiliser l'IA en toute sécurité dans les produits destinés aux enfants.
Source: CNN
