Il chatbot di NYC fornisce informazioni fuorvianti sulle leggi cittadine

Un recente rapporto di The Markup and The City ha rivelato una pericolosa tendenza di MyCity, un chatbot lanciato dal governo della città di New York, a fornire informazioni errate su una serie di importanti questioni riguardanti leggi e regolamenti locali.

Ecco cosa sappiamo

Il chatbot MyCity, che gira sulla piattaforma Azure di Microsoft, è stato introdotto nell'ottobre del 2023 come progetto pilota per aiutare i proprietari di aziende a comprendere le normative cittadine. Tuttavia, i test hanno rivelato che il bot diffondeva informazioni errate su questioni chiave come l'accettazione dei voucher abitativi Section 8, la retribuzione dei lavoratori, la regolamentazione degli orari di lavoro e i prezzi in alcuni settori.

Nonostante gli avvertimenti che MyCity può fornire contenuti imprecisi o dannosi, il bot si posiziona come fonte ufficiale di informazioni su come fare affari a New York. Ciò ha suscitato preoccupazione tra i membri dell'industria alberghiera locale, che hanno riscontrato a loro volta inesattezze nelle risposte del bot.

Il problema dei chatbot basati su grandi modelli linguistici è che generano risposte basate su associazioni statistiche piuttosto che su una reale comprensione delle informazioni. Questo può portare a confusioni e a rilasciare informazioni errate quando l'unica risposta corretta non è pienamente riflessa nei dati di addestramento.

Questo incidente mette in evidenza i pericoli che corrono i governi e le aziende che impiegano prematuramente i chatbot prima di averne testato appieno l'accuratezza e l'affidabilità. In passato le aziende hanno avuto problemi con i chatbot che diffondevano informazioni false sulle politiche di restituzione, sulle questioni fiscali e sui prezzi dei prodotti.

In risposta alle critiche, i funzionari del governo di New York hanno dichiarato che continueranno a migliorare il chatbot MyCity per supportare meglio le piccole imprese della città. Tuttavia, l'incidente evidenzia la necessità di testare e personalizzare in modo più approfondito tali sistemi prima che vengano distribuiti per l'uso pubblico.

Fonte: Ars Technica