Les hallucinations de l'IA menacent la crédibilité scientifique - étude

La capacité des grands modèles de langage (LLM) à générer des contenus faux mais persuasifs constitue une menace directe pour la science et la vérité scientifique. C'est ce que révèle une étude de l'Oxford Internet Institute.

Voici ce que nous savons

La capacité de l'IA générative à "inventer" des informations est appelée hallucinations. Selon les chercheurs, les LLM formés à partir de données provenant de l'internet ne peuvent pas garantir la validité des réponses.

Les ensembles de données peuvent contenir de fausses déclarations, des opinions et des informations inexactes. En outre, la dépendance excessive des gens à l'égard des robots de conversation pourrait exacerber le problème.

Brent Mittelstadt, coauteur de l'étude, a noté que les utilisateurs anthropomorphisent les LLM, prenant leurs réponses pour la vérité. Ce phénomène est en partie alimenté par l'interface des chatbots, qui communiquent avec les humains et répondent apparemment à n'importe quelle question par un texte bien écrit et à la tonalité assurée.

En science, il est particulièrement important de s'appuyer sur des données fiables. Pour éviter les hallucinations de l'IA, les scientifiques recommandent d'utiliser les LLM comme un "traducteur à somme nulle". Cela signifie que les utilisateurs doivent fournir à l'algorithme des données pertinentes et lui demander de les transformer, plutôt que de s'appuyer sur le modèle comme source de connaissances.

De cette manière, il devient plus facile de vérifier l'exactitude du résultat.

Les scientifiques ne nient pas que les LLM contribueront à l'organisation du processus scientifique. Ils invitent toutefois la communauté à faire preuve de plus de responsabilité dans l'utilisation de l'IA.

Source : The Next Web : The Next Web