New York-chatbot sprer falsk informasjon

En fersk undersøkelse utført av The Markup avslørte at en chatbot som ble lansert av New Yorks bystyre for å gi informasjon til bedriftseiere, har spredt unøyaktig og til og med villedende informasjon om byens retningslinjer.

Dette er hva vi vet

Ifølge rapporten gir chatboten, som drives av Microsoft Azures kunstige intelligens, falsk informasjon og bryter til og med loven.

Undersøkelsen, som ble gjennomført i samarbeid med de lokale non-profit-publikasjonene Documented og The City, fant en rekke unøyaktigheter i chatbotens svar på spørsmål om boligpolitikk, ansattes rettigheter og andre viktige temaer.

Ordfører Adams presenterte chatboten i oktober som en del av My City-portalen, som ble introdusert i mars 2023 som byens viktigste kilde til tjenester. Det viste seg imidlertid at dette bare var et pilotprosjekt, og på nettstedet ble det advart om at informasjonen noen ganger kunne være unøyaktig eller til og med skadelig.

Under The Markups testing ga chatboten feil informasjon som svar på ulike spørsmål, blant annet om kontantløse butikker og ansettelsesregler. Boligpolitiske eksperter beskriver chatboten som i verste fall "farlig unøyaktig".

Leslie Brown, talsperson for New York City Office of Technology and Innovation, sier at chatboten allerede har gitt tusenvis av mennesker presise svar i tide. Han innrømmet imidlertid at teamet deres vil fortsette å jobbe med å oppdatere systemet for å gi bedre støtte til små bedrifter i byen.

Kilde: The Markup The Markup