Un chatbot new-yorkais diffuse de fausses informations

Une enquête récente menée par The Markup a révélé qu'un chatbot lancé par le gouvernement de la ville de New York pour fournir un soutien informatif aux propriétaires d'entreprises a diffusé des informations inexactes, voire trompeuses, sur les politiques de la ville.

Ce que nous savons

Selon le rapport, le chatbot, alimenté par l'intelligence artificielle de Microsoft Azure, fournit de fausses informations, allant parfois jusqu'à enfreindre la loi.

La publication, réalisée en collaboration avec les publications locales à but non lucratif Documented et The City, a relevé un certain nombre d'inexactitudes dans les réponses du chatbot à des questions sur la politique du logement, les droits des employés et d'autres sujets importants.

Le maire Adams a dévoilé le chatbot en octobre dans le cadre du portail My City, qui a été introduit en mars 2023 en tant que principale source de services de la ville. Cependant, il s'est avéré qu'il ne s'agissait que d'un projet pilote, avec un avertissement sur le site web indiquant que les informations pouvaient parfois être inexactes, voire nuisibles.

Lors des tests effectués par The Markup, le chatbot a fourni des informations incorrectes en réponse à diverses questions, notamment sur les magasins sans caisse et les règles d'emploi. Les experts en politique du logement qualifient le chatbot de "dangereusement inexact" dans le pire des cas.

Leslie Brown, porte-parole du bureau de la technologie et de l'innovation de la ville de New York, a déclaré que le chatbot avait déjà fourni des réponses précises et opportunes à des milliers de personnes. Il a toutefois admis que son équipe continuerait à travailler sur la mise à jour du système afin d'offrir un meilleur soutien aux petites entreprises de la ville.

Source : The Markup