Un chatbot de la ville de New York fournit des informations trompeuses sur les lois de la ville

Un récent rapport de The Markup and The City a révélé une dangereuse tendance de MyCity, un chatbot lancé par le gouvernement de la ville de New York, à fournir des informations incorrectes sur un certain nombre de questions importantes concernant les lois et réglementations locales.

Voici ce que nous savons

Le chatbot MyCity, qui fonctionne sur la plateforme Azure de Microsoft, a été lancé en octobre 2023 dans le cadre d'un projet pilote visant à aider les propriétaires d'entreprises à comprendre les réglementations municipales. Cependant, des tests ont révélé que le chatbot diffusait des informations erronées sur des questions clés telles que l'acceptation des bons de logement de la section 8, la rémunération du travail, la réglementation des heures de travail et la fixation des prix dans certains secteurs d'activité.

Malgré les avertissements indiquant que MyCity peut fournir un contenu inexact ou nuisible, le chatbot se présente comme une source officielle d'informations sur la façon de faire des affaires dans la ville de New York. Cela a suscité l'inquiétude des membres de l'industrie hôtelière locale, qui ont eux-mêmes rencontré des inexactitudes dans les réponses du robot.

Le problème des chatbots basés sur de grands modèles de langage est qu'ils génèrent des réponses basées sur des associations statistiques plutôt que sur une réelle compréhension de l'information. Cela peut conduire à des confabulations et à l'émission d'informations incorrectes lorsque la seule réponse correcte n'est pas entièrement reflétée dans les données d'apprentissage.

Cet incident met en évidence les dangers que courent les gouvernements et les entreprises qui déploient prématurément des chatbots avant d'avoir pleinement testé leur précision et leur fiabilité. Les entreprises ont déjà rencontré des problèmes avec des chatbots diffusant de fausses informations sur les politiques de retour, les questions fiscales et les prix des produits.

En réponse à ces critiques, les autorités de la ville de New York ont déclaré qu'elles continueraient à améliorer le chatbot MyCity afin de mieux soutenir les petites entreprises de la ville. Néanmoins, l'incident montre qu'il est nécessaire de tester et de personnaliser de manière plus approfondie ces systèmes avant de les déployer pour un usage public.

Source : Ars Technica : Ars Technica