KI-Erkennungssoftware diskriminiert englische Nicht-Muttersprachler - Studie

Computerprogramme, die von künstlicher Intelligenz erstellte Texte identifizieren, diskriminieren möglicherweise englische Nicht-Muttersprachler.

Was wir wissen

Die Wissenschaftler ließen 91 englische Texte, die von Nicht-Muttersprachlern verfasst wurden, durch sieben gängige GPT-Detektoren laufen, um deren Genauigkeit zu ermitteln. Die Ergebnisse zeigten, dass solche Artikel oft fälschlicherweise als von künstlicher Intelligenz verfasst eingestuft wurden.

Mehr als die Hälfte der Aufsätze, die für die allgemein anerkannte Englischprüfung TOEFL geschrieben wurden, wurden als von einer künstlichen Intelligenz verfasst markiert. Eines der Programme meldete, dass 98 % der Texte von einer künstlichen Intelligenz erstellt wurden.

Als diese Programme die von englischen Muttersprachlern geschriebenen Texte überprüften, stuften sie diese in mehr als 90 % der Fälle als von Menschen geschrieben ein.

Die Wissenschaftler erklären diese Unterscheidung mit der Art und Weise, wie die Detektoren zwischen KI und Menschen unterscheiden. Die Programme werden auf die so genannte "text perplexity" " untersucht - ein Maß für die "surprised" " oder "confused" " des Modells beim Versuch, das nächste Wort in einem Satz vorherzusagen.

Wenn der Algorithmus die Aufgabe leicht bewältigt, wird die Textüberraschung als gering eingestuft. Ist das nächste Wort jedoch schwer vorherzusagen, ist der Überraschungswert des Textes hoch.

Mit anderen Worten: Wenn eine Person einfache Wörter und Ausdrücke verwendet, wird das Programm sie mit größerer Wahrscheinlichkeit als KI akzeptieren. In der Regel verwenden Nicht-Muttersprachler häufig gebräuchliche Wörter und Ausdrücke, was zu einer Diskriminierung führt.

Nachdem die Forscher die in den KI-Erkennungsprogrammen eingebaute Verzerrung entdeckt hatten, baten sie ChatGPT, TOEFL-Aufsätze mit komplexeren Formulierungen neu zu schreiben. Als die bearbeiteten Texte erneut durch die Detektoren liefen, wurden sie alle als menschlich eingestuft.

Den Forschern zufolge haben viele Pädagogen mit dem Aufkommen von ChatGPT begonnen, die KI-Erkennung als "critical countermeasure to deter a 21st-century form of cheating" Sie warnen jedoch, dass die von einigen Detektoren behauptete 99%ige Genauigkeit "misleading at best"" ist.

Quelle: The Guardian.