Une étude montre qu'un texte caché dans un site web peut manipuler les résultats de la recherche ChatGPT

Une étude récente du journal britannique The Guardian a révélé que le moteur de recherche ChatGPT d'OpenAI est vulnérable à la manipulation et à la tromperie.

Voici ce que nous savons

Les tests ont révélé qu'un texte caché sur les pages web peut influencer les réponses de ChatGPT, l'amenant à ignorer les critiques négatives et à générer des résumés exclusivement positifs. Cette technique, connue sous le nom d'"injection rapide", peut être utilisée pour créer des logiciels malveillants et tromper les utilisateurs. Les chercheurs ont constaté que ChatGPT peut renvoyer des codes malveillants à partir des sites web qu'il recherche, ce qui constitue une menace sérieuse pour la sécurité.

Lors des tests, ChatGPT a reçu l'URL d'un faux site web conçu comme une page de produit pour un appareil photo, et il a été demandé au chatbot si l'appareil valait la peine d'être acheté. La réponse à la page de test a donné une évaluation positive mais équilibrée, soulignant certaines caractéristiques que les acheteurs pourraient ne pas aimer. Cependant, lorsque le texte caché comprenait des instructions pour que ChatGPT renvoie une évaluation positive, la réponse était toujours entièrement positive, même lorsque la page comportait des évaluations négatives.

OpenAI, le développeur de ChatGPT, n'a pas commenté l'incident, mais a déclaré qu'il utilisait diverses méthodes pour bloquer les sites web malveillants et qu'il s'améliorait constamment.

Source : The Guardian : The Guardian