New Yorkse chatbot verspreidt valse informatie

Uit een recent onderzoek van The Markup is gebleken dat een chatbot die door de overheid van New York City is gelanceerd om bedrijfseigenaren van informatie te voorzien, onjuiste en zelfs misleidende informatie over het stadsbeleid heeft verspreid.

Dit is wat we weten

Volgens het rapport verstrekt de chatbot, die wordt aangedreven door de kunstmatige intelligentie van Microsoft Azure, onjuiste informatie en overtreedt hij soms zelfs de wet.

De publicatie, uitgevoerd in samenwerking met lokale non-profit publicaties Documented en The City, vond een aantal onnauwkeurigheden in de antwoorden van de chatbot op vragen over huisvestingsbeleid, werknemersrechten en andere belangrijke onderwerpen.

Burgemeester Adams onthulde de chatbot in oktober als onderdeel van het My City-portaal, dat in maart 2023 werd geïntroduceerd als de belangrijkste bron van diensten van de stad. Het bleek echter slechts om een proefproject te gaan, met een waarschuwing op de website dat de informatie soms onnauwkeurig of zelfs schadelijk kon zijn.

Tijdens het testen door The Markup gaf de chatbot onjuiste informatie als antwoord op verschillende vragen, waaronder vragen over cashloze winkels en arbeidsregels. Experts op het gebied van huisvestingsbeleid beschrijven de chatbot in het slechtste geval als "gevaarlijk onnauwkeurig".

Leslie Brown, een woordvoerder van het New York City Office of Technology and Innovation, zei dat de chatbot al duizenden mensen heeft voorzien van tijdige, accurate antwoorden. Hij gaf echter toe dat hun team zal blijven werken aan het updaten van het systeem om betere ondersteuning te bieden aan kleine bedrijven in de stad.

Bron: The Markup