Програми для виявлення штучного інтелекту дискримінують не носіїв англійської мови - дослідження
Комп'ютерні програми, що ідентифікують згенеровані штучним інтелектом тексти, можуть дискримінувати людей, які не є носіями англійської мови.
Що відомо
Учені прогнали 91 твір англійською мовою, написаний не носіями мови, через сім популярних детекторів GPT, щоб визначити їхню точність. Результати показали, що такі статті часто помилково позначалися як згенеровані штучним інтелектом.
Понад половина есе, написаних для загальновизнаного іспиту на знання англійської мови TOEFL, були відзначені як написані штучним інтелектом. Причому одна з програм повідомила, що 98% текстів згенерував ШІ.
Коли через ці програми перевірили твори, написані носіями англійської мови, вони більш ніж у 90% випадків класифікували їх як написані людиною.
Учені пояснюють дискримінацію тим, як детектори відрізняють ШІ від людини. Програми аналізують на так звану "здивованість тексту" - міра "здивованості" або "розгубленості" моделі при спробі передбачити наступне слово в реченні.
Якщо алгоритм легко справляється із завданням, то здивованість тексту оцінюється як низька. Але якщо наступне слово виявляється важко передбачити, то здивованість тексту оцінюється як висока.
Інакше кажучи, якщо людина використовує прості слова і звороти - програма з більшою ймовірністю прийме її як ШІ. Як правило, не носії мови часто використовують загальні слова і вирази, що і призводить до дискримінації.
Виявивши вбудовану упередженість у програмах розпізнавання ШІ, вчені попросили ChatGPT переписати есе для TOEFL, використовуючи складніші формулювання. Коли відредаговані тексти були знову пропущені через детектори, всі вони були позначені як написані людиною.
За словами дослідників, з появою ChatGPT багато викладачів почали розглядати виявлення ШІ як "найважливіший контрзахід для запобігання нової форми списування в XXI столітті". Однак вони попереджають, що заявлена деякими детекторами 99% точність "у кращому разі вводить в оману".
Джерело: The Guardian.