AI-detectiesoftware discrimineert niet-moedertaalsprekers Engels - onderzoek

Computerprogramma's die teksten identificeren die zijn gegenereerd door kunstmatige intelligentie kunnen niet-moedertaalsprekers van het Engels discrimineren.

Wat we weten.

Wetenschappers hebben 91 Engelse teksten geschreven door niet-moedertaalsprekers door zeven populaire GPT-detectors laten lopen om hun nauwkeurigheid te bepalen. De resultaten toonden aan dat dergelijke artikelen vaak ten onrechte werden bestempeld als geschreven door kunstmatige intelligentie.

Meer dan de helft van de essays geschreven voor het universeel erkende TOEFL Engels taalexamen werden gemarkeerd als geschreven door kunstmatige intelligentie. Bovendien meldde een van de programma's dat 98% van de teksten door AI was gegenereerd.

Toen deze programma's de teksten van moedertaalsprekers van het Engels controleerden, classificeerden ze deze in meer dan 90% van de gevallen als geschreven door mensen.

Wetenschappers verklaren de discriminatie door de manier waarop detectors AI van mensen onderscheiden. Programma's worden geanalyseerd op de zogenaamde "tekstverrassing " - een maat voor de "verrassing " of "verwarring " van het model wanneer het probeert het volgende woord in een zin te voorspellen.

Als het algoritme de taak gemakkelijk aankan, wordt de tekstverrassing als laag beoordeeld. Als het volgende woord echter moeilijk te voorspellen is, is de verrassingsscore van de tekst hoog.

Met andere woorden, als een persoon eenvoudige woorden en uitdrukkingen gebruikt, is de kans groter dat het programma deze accepteert als AI. In de regel gebruiken niet-moedertaalsprekers vaak gewone woorden en uitdrukkingen, wat leidt tot discriminatie.

Nadat ze de ingebouwde bias in AI-herkenningsprogramma's hadden ontdekt, vroegen de onderzoekers ChatGPT om TOEFL-essays te herschrijven met complexere bewoordingen. Toen de bewerkte teksten opnieuw door de detectoren werden gehaald, werden ze allemaal als menselijk gemarkeerd.

Volgens de onderzoekers zijn met de komst van ChatGPT veel docenten AI-detectie gaan zien als "een cruciale tegenmaatregel om een nieuwe vorm van spieken in de 21e eeuw te voorkomen". Ze waarschuwen echter dat de 99% nauwkeurigheid die sommige detectors claimen "op zijn best misleidend" is.

Bron: The Guardian.