Чат-бот Нью-Йорка надає недостовірну інформацію про міські закони

Нещодавній звіт видань The Markup і The City виявив небезпечну тенденцію чат-бота MyCity, запущеного урядом Нью-Йорка, надавати хибну інформацію з низки важливих питань, що стосуються місцевих законів і нормативних актів.

Що відомо

Чат-бот MyCity, що працює на платформі Microsoft Azure, був представлений у жовтні 2023 року як пілотний проєкт для допомоги власникам бізнесу в розумінні правил міста. Однак проведене тестування засвідчило, що бот поширює помилкові відомості про такі ключові питання, як ухвалення ваучерів на житло за Розділом 8, оплата праці, регулювання робочого часу та ціноутворення в деяких галузях.

Незважаючи на попередження, що MyCity може надавати неточний або шкідливий контент, бот позиціонується як офіційне джерело інформації про ведення бізнесу в Нью-Йорку. Це викликало стурбованість у представників місцевої індустрії гостинності, які самі зіткнулися з неточностями у відповідях бота.

Проблема з чат-ботами, заснованими на великих мовних моделях, полягає в тому, що вони генерують відповіді на основі статистичних асоціацій, а не реального розуміння інформації. Це може призводити до конфабуляцій і видачі невірних відомостей у випадках, коли єдино правильна відповідь не повністю відображена в навчальних даних.

Цей інцидент підкреслює небезпеку передчасного впровадження чат-ботів урядами та корпораціями до повної перевірки їхньої точності та надійності. Раніше компанії вже стикалися з проблемами, коли чат-боти поширювали неправдиву інформацію про політики повернення, податкові питання та ціни на продукти.

У відповідь на критику представники уряду Нью-Йорка заявили, що продовжуватимуть удосконалювати чат-бот MyCity, щоб краще підтримувати малий бізнес у місті. Проте інцидент вказує на необхідність більш ретельної перевірки та налаштування подібних систем перед їх розгортанням для публічного використання.

Джерело: Ars Technica