Чат-бот Нью-Йорка предоставляет недостоверную информацию о городских законах
![Чат-бот Нью-Йорка предоставляет недостоверную информацию о городских законах Чат-бот Нью-Йорка предоставляет недостоверную информацию о городских законах](/media/cache/aa/5e/aa5e6b9f3ee43a779226bffeb7c94377.jpg)
![](/media/uploads/mark-boss-atwnx7yojwo-unsplash.jpg)
Mark Boss/Unsplash
Недавний отчет изданий The Markup и The City выявил опасную тенденцию чат-бота MyCity, запущенного правительством Нью-Йорка, предоставлять неверную информацию по ряду важных вопросов, касающихся местных законов и нормативных актов.
Что известно
Чат-бот MyCity, работающий на платформе Microsoft Azure, был представлен в октябре 2023 года как пилотный проект для помощи владельцам бизнеса в понимании правил города. Однако проведенное тестирование показало, что бот распространяет ошибочные сведения о таких ключевых вопросах, как принятие ваучеров на жилье по Разделу 8, оплата труда, регулирование рабочего времени и ценообразование в некоторых отраслях.
![](/media/uploads/1711744537555.png)
Чат-бот MyCity утверждает, что в Нью-Йорке можно открыть магазин по продаже человеческого мяса
Несмотря на предупреждения, что MyCity может предоставлять неточный или вредный контент, бот позиционируется как официальный источник информации о ведении бизнеса в Нью-Йорке. Это вызвало обеспокоенность у представителей местной индустрии гостеприимства, которые сами столкнулись с неточностями в ответах бота.
Проблема с чат-ботами, основанными на больших языковых моделях, заключается в том, что они генерируют ответы на основе статистических ассоциаций, а не реального понимания информации. Это может приводить к конфабуляциям и выдаче неверных сведений в случаях, когда единственно правильный ответ не полностью отражен в обучающих данных.
Данный инцидент подчеркивает опасность преждевременного внедрения чат-ботов правительствами и корпорациями до полной проверки их точности и надежности. Ранее компании уже сталкивались с проблемами, когда чат-боты распространяли ложную информацию о политиках возврата, налоговых вопросах и ценах на продукты.
В ответ на критику представители правительства Нью-Йорка заявили, что будут продолжать совершенствовать чат-бот MyCity, чтобы лучше поддерживать малый бизнес в городе. Тем не менее инцидент указывает на необходимость более тщательной проверки и настройки подобных систем перед их развертыванием для публичного использования.
Источник: Ars Technica