Il chatbot di NYC fornisce informazioni fuorvianti sulle leggi cittadine

Di: Bohdan Kaminskyi | 01.04.2024, 19:57

Mark Boss/Unsplash

Un recente rapporto di The Markup and The City ha rivelato una pericolosa tendenza di MyCity, un chatbot lanciato dal governo della città di New York, a fornire informazioni errate su una serie di importanti questioni riguardanti leggi e regolamenti locali.

Ecco cosa sappiamo

Il chatbot MyCity, che gira sulla piattaforma Azure di Microsoft, è stato introdotto nell'ottobre del 2023 come progetto pilota per aiutare i proprietari di aziende a comprendere le normative cittadine. Tuttavia, i test hanno rivelato che il bot diffondeva informazioni errate su questioni chiave come l'accettazione dei voucher abitativi Section 8, la retribuzione dei lavoratori, la regolamentazione degli orari di lavoro e i prezzi in alcuni settori.


Il chatbot MyCity sostiene di essere in grado di aprire un negozio di carne umana a New York City

Nonostante gli avvertimenti che MyCity può fornire contenuti imprecisi o dannosi, il bot si posiziona come fonte ufficiale di informazioni su come fare affari a New York. Ciò ha suscitato preoccupazione tra i membri dell'industria alberghiera locale, che hanno riscontrato a loro volta inesattezze nelle risposte del bot.

Il problema dei chatbot basati su grandi modelli linguistici è che generano risposte basate su associazioni statistiche piuttosto che su una reale comprensione delle informazioni. Questo può portare a confusioni e a rilasciare informazioni errate quando l'unica risposta corretta non è pienamente riflessa nei dati di addestramento.

Questo incidente mette in evidenza i pericoli che corrono i governi e le aziende che impiegano prematuramente i chatbot prima di averne testato appieno l'accuratezza e l'affidabilità. In passato le aziende hanno avuto problemi con i chatbot che diffondevano informazioni false sulle politiche di restituzione, sulle questioni fiscali e sui prezzi dei prodotti.

In risposta alle critiche, i funzionari del governo di New York hanno dichiarato che continueranno a migliorare il chatbot MyCity per supportare meglio le piccole imprese della città. Tuttavia, l'incidente evidenzia la necessità di testare e personalizzare in modo più approfondito tali sistemi prima che vengano distribuiti per l'uso pubblico.

Fonte: Ars Technica