Чат-бот Нью-Йорка предоставляет недостоверную информацию о городских законах

Mark Boss/Unsplash

Недавний отчет изданий The Markup и The City выявил опасную тенденцию чат-бота MyCity, запущенного правительством Нью-Йорка, предоставлять неверную информацию по ряду важных вопросов, касающихся местных законов и нормативных актов.

Что известно

Чат-бот MyCity, работающий на платформе Microsoft Azure, был представлен в октябре 2023 года как пилотный проект для помощи владельцам бизнеса в понимании правил города. Однако проведенное тестирование показало, что бот распространяет ошибочные сведения о таких ключевых вопросах, как принятие ваучеров на жилье по Разделу 8, оплата труда, регулирование рабочего времени и ценообразование в некоторых отраслях.

Чат-бот MyCity утверждает, что в Нью-Йорке можно открыть магазин по продаже человеческого мяса

Несмотря на предупреждения, что MyCity может предоставлять неточный или вредный контент, бот позиционируется как официальный источник информации о ведении бизнеса в Нью-Йорке. Это вызвало обеспокоенность у представителей местной индустрии гостеприимства, которые сами столкнулись с неточностями в ответах бота.

Проблема с чат-ботами, основанными на больших языковых моделях, заключается в том, что они генерируют ответы на основе статистических ассоциаций, а не реального понимания информации. Это может приводить к конфабуляциям и выдаче неверных сведений в случаях, когда единственно правильный ответ не полностью отражен в обучающих данных.

Данный инцидент подчеркивает опасность преждевременного внедрения чат-ботов правительствами и корпорациями до полной проверки их точности и надежности. Ранее компании уже сталкивались с проблемами, когда чат-боты распространяли ложную информацию о политиках возврата, налоговых вопросах и ценах на продукты.

В ответ на критику представители правительства Нью-Йорка заявили, что будут продолжать совершенствовать чат-бот MyCity, чтобы лучше поддерживать малый бизнес в городе. Тем не менее инцидент указывает на необходимость более тщательной проверки и настройки подобных систем перед их развертыванием для публичного использования.

Источник: Ars Technica