Studie viser at programvare for kunstig intelligens diskriminerer personer som ikke har engelsk som morsmål

Dataprogrammer som identifiserer tekster generert av kunstig intelligens, kan diskriminere personer som ikke har engelsk som morsmål.

Hva vi vet.

Forskere kjørte 91 engelske tekster skrevet av personer som ikke har engelsk som morsmål, gjennom sju populære GPT-detektorer for å finne ut hvor treffsikre de var. Resultatene viste at slike artikler ofte feilaktig ble stemplet som generert av kunstig intelligens.

Over halvparten av essayene som ble skrevet til den anerkjente TOEFL-eksamenen i engelsk, ble stemplet som skrevet av kunstig intelligens. Ett av programmene rapporterte dessuten at 98 % av tekstene var generert av kunstig intelligens.

Når disse programmene sjekket tekster skrevet av personer med engelsk som morsmål, klassifiserte de dem som skrevet av mennesker i mer enn 90 % av tilfellene.

Forskerne forklarer forskjellsbehandlingen med måten detektorene skiller AI fra mennesker på. Programmene analyseres for såkalt "text surprise " - et mål på modellens " overraskelse" eller "forvirring " når den prøver å forutsi neste ord i en setning.

Hvis algoritmen lett takler oppgaven, vurderes tekstoverraskelsen som lav. Hvis det neste ordet derimot er vanskelig å forutsi, er tekstens overraskelsesgrad høy.

Med andre ord, hvis en person bruker enkle ord og uttrykk, er det mer sannsynlig at programmet aksepterer dem som AI. Som regel bruker fremmedspråklige ofte vanlige ord og uttrykk, noe som fører til diskriminering.

Etter å ha oppdaget den innebygde skjevheten i AI-gjenkjenningsprogrammer, ba forskerne ChatGPT om å skrive om TOEFL-essays med mer komplekse formuleringer. Da de redigerte tekstene ble kjørt gjennom detektorene på nytt, ble de alle merket som menneskelige.

Ifølge forskerne har ChatGPT ført til at mange lærere har begynt å se på AI-deteksjon som "et avgjørende mottiltak for å forhindre en ny form for juks i det 21. århundre". De advarer imidlertid om at nøyaktigheten på 99 % som enkelte detektorer hevder, i beste fall er "misvisende".

Kilde: The Guardian: The Guardian.