Il software di rilevamento dell'intelligenza artificiale discrimina i non madrelingua inglesi - studio

I programmi informatici che identificano i testi generati dall'intelligenza artificiale possono discriminare i non madrelingua inglesi.

Cosa sappiamo.

Gli scienziati hanno sottoposto 91 testi inglesi scritti da non madrelingua a sette popolari rilevatori di GPT per determinarne l'accuratezza. I risultati hanno mostrato che tali articoli sono stati spesso falsamente etichettati come generati dall'intelligenza artificiale.

Più della metà dei saggi scritti per l'esame di lingua inglese TOEFL, universalmente riconosciuto, sono stati contrassegnati come scritti da un'intelligenza artificiale. Inoltre, uno dei programmi ha riportato che il 98% dei testi era stato generato dall'intelligenza artificiale.

Quando questi programmi hanno controllato i testi scritti da madrelingua inglesi, li hanno classificati come scritti da esseri umani in oltre il 90% dei casi.

Gli scienziati spiegano questa discriminazione con il modo in cui i rilevatori distinguono l'IA dagli esseri umani. I programmi vengono analizzati per la cosiddetta "sorpresa del testo ", una misura della "sorpresa " o "confusione " del modello quando cerca di prevedere la parola successiva in una frase.

Se l'algoritmo affronta facilmente il compito, la sorpresa del testo viene classificata come bassa. Se invece la parola successiva è difficile da prevedere, il punteggio di sorpresa del testo è alto.

In altre parole, se una persona usa parole e frasi semplici, è più probabile che il programma le accetti come IA. Di norma, i non madrelingua usano spesso parole ed espressioni comuni, il che porta alla discriminazione.

Avendo scoperto il pregiudizio incorporato nei programmi di riconoscimento dell'IA, i ricercatori hanno chiesto a ChatGPT di riscrivere dei saggi TOEFL utilizzando una formulazione più complessa. Quando i testi modificati sono stati sottoposti nuovamente ai rilevatori, sono stati tutti contrassegnati come umani.

Secondo i ricercatori, con l'avvento di ChatGPT, molti insegnanti hanno iniziato a considerare il rilevamento dell'IA come "una contromisura cruciale per prevenire una nuova forma di imbroglio nel 21° secolo". Tuttavia, avvertono che l'accuratezza del 99% dichiarata da alcuni rilevatori è "fuorviante nel migliore dei casi".

Fonte: The Guardian.