Une étude montre qu'un logiciel de détection de l'IA discrimine les personnes dont l'anglais n'est pas la langue maternelle

Les programmes informatiques d'identification de textes générés par l'intelligence artificielle peuvent être discriminatoires à l'égard des personnes dont l'anglais n'est pas la langue maternelle.

Ce que nous savons.

Les scientifiques ont soumis 91 textes anglais rédigés par des personnes dont ce n'est pas la langue maternelle à sept détecteurs de TPG populaires afin de déterminer leur précision. Les résultats ont montré que ces articles étaient souvent étiquetés à tort comme étant générés par une intelligence artificielle.

Plus de la moitié des essais rédigés pour l'examen d'anglais TOEFL, universellement reconnu, ont été marqués comme ayant été rédigés par une intelligence artificielle. En outre, l'un des programmes a indiqué que 98 % des textes étaient générés par l'IA.

Lorsque ces programmes ont vérifié les textes rédigés par des locuteurs natifs de l'anglais, ils les ont classés comme étant rédigés par des humains dans plus de 90 % des cas.

Les scientifiques expliquent cette discrimination par la manière dont les détecteurs distinguent l'IA de l'homme. Les programmes sont analysés en fonction de ce que l'on appelle la " surprise textuelle ", une mesure de la "surprise " ou de la "confusion " du modèle lorsqu'il tente de prédire le mot suivant dans une phrase.

Si l'algorithme s'acquitte facilement de la tâche, la surprise du texte est considérée comme faible. En revanche, si le mot suivant est difficile à prédire, la note de surprise du texte est élevée.

En d'autres termes, si une personne utilise des mots et des phrases simples, le programme est plus susceptible de l'accepter en tant qu'IA. En règle générale, les locuteurs non natifs utilisent souvent des mots et des expressions courants, ce qui entraîne une discrimination.

Après avoir découvert le biais intégré dans les programmes de reconnaissance de l'IA, les chercheurs ont demandé à ChatGPT de réécrire des essais du TOEFL en utilisant des formulations plus complexes. Lorsque les textes révisés ont été soumis à nouveau aux détecteurs, ils ont tous été marqués comme étant humains.

Selon les chercheurs, avec l'avènement de ChatGPT, de nombreux éducateurs ont commencé à considérer la détection de l'IA comme "une contre-mesure cruciale pour prévenir une nouvelle forme de tricherie au 21e siècle". Cependant, ils avertissent que la précision de 99 % revendiquée par certains détecteurs est "au mieux trompeuse".

Source : The Guardian : The Guardian.