Il chatbot di NYC fornisce informazioni fuorvianti sulle leggi cittadine
Mark Boss/Unsplash
Un recente rapporto di The Markup and The City ha rivelato una pericolosa tendenza di MyCity, un chatbot lanciato dal governo della città di New York, a fornire informazioni errate su una serie di importanti questioni riguardanti leggi e regolamenti locali.
Ecco cosa sappiamo
Il chatbot MyCity, che gira sulla piattaforma Azure di Microsoft, è stato introdotto nell'ottobre del 2023 come progetto pilota per aiutare i proprietari di aziende a comprendere le normative cittadine. Tuttavia, i test hanno rivelato che il bot diffondeva informazioni errate su questioni chiave come l'accettazione dei voucher abitativi Section 8, la retribuzione dei lavoratori, la regolamentazione degli orari di lavoro e i prezzi in alcuni settori.
Il chatbot MyCity sostiene di essere in grado di aprire un negozio di carne umana a New York City
Nonostante gli avvertimenti che MyCity può fornire contenuti imprecisi o dannosi, il bot si posiziona come fonte ufficiale di informazioni su come fare affari a New York. Ciò ha suscitato preoccupazione tra i membri dell'industria alberghiera locale, che hanno riscontrato a loro volta inesattezze nelle risposte del bot.
Il problema dei chatbot basati su grandi modelli linguistici è che generano risposte basate su associazioni statistiche piuttosto che su una reale comprensione delle informazioni. Questo può portare a confusioni e a rilasciare informazioni errate quando l'unica risposta corretta non è pienamente riflessa nei dati di addestramento.
Questo incidente mette in evidenza i pericoli che corrono i governi e le aziende che impiegano prematuramente i chatbot prima di averne testato appieno l'accuratezza e l'affidabilità. In passato le aziende hanno avuto problemi con i chatbot che diffondevano informazioni false sulle politiche di restituzione, sulle questioni fiscali e sui prezzi dei prodotti.
In risposta alle critiche, i funzionari del governo di New York hanno dichiarato che continueranno a migliorare il chatbot MyCity per supportare meglio le piccole imprese della città. Tuttavia, l'incidente evidenzia la necessità di testare e personalizzare in modo più approfondito tali sistemi prima che vengano distribuiti per l'uso pubblico.
Fonte: Ars Technica
