NYC chatbot geeft misleidende informatie over stadswetten

Een recent rapport van The Markup and The City onthulde een gevaarlijke neiging voor MyCity, een chatbot gelanceerd door de New York City overheid, om onjuiste informatie te verstrekken over een aantal belangrijke kwesties met betrekking tot lokale wet- en regelgeving.

Dit is wat we weten

De MyCity chatbot, die draait op het Azure-platform van Microsoft, werd in oktober 2023 geïntroduceerd als proefproject om bedrijfseigenaren te helpen de stadsvoorschriften te begrijpen. Tests wezen echter uit dat de bot foutieve informatie verspreidde over belangrijke zaken zoals de acceptatie van Section 8 huisvestingsvouchers, arbeidsvergoeding, regulering van werktijden en prijzen in sommige industrieën.

Ondanks waarschuwingen dat MyCity onjuiste of schadelijke inhoud kan bieden, wordt de bot gepositioneerd als een officiële bron van informatie over zakendoen in New York City. Dit heeft tot bezorgdheid geleid onder leden van de lokale horeca, die zelf onnauwkeurigheden in de antwoorden van de bot zijn tegengekomen.

Het probleem met chatbots die gebaseerd zijn op grote taalmodellen is dat ze antwoorden genereren op basis van statistische associaties in plaats van een echt begrip van de informatie. Dit kan leiden tot verwarring en het geven van onjuiste informatie wanneer het enige juiste antwoord niet volledig wordt weerspiegeld in de trainingsgegevens.

Dit incident benadrukt de gevaren van het voortijdig inzetten van chatbots door overheden en bedrijven voordat ze hun nauwkeurigheid en betrouwbaarheid volledig hebben getest. Bedrijven hebben eerder problemen gehad met chatbots die valse informatie verspreidden over retourbeleid, belastingkwesties en productprijzen.

In reactie op de kritiek zeiden ambtenaren van de gemeente New York dat ze de MyCity chatbot zullen blijven verbeteren om kleine bedrijven in de stad beter te ondersteunen. Desondanks wijst het incident op de noodzaak om dergelijke systemen grondiger te testen en aan te passen voordat ze worden ingezet voor openbaar gebruik.

Bron: Ars Technica