NYC-Chatbot liefert irreführende Informationen über städtische Gesetze

Mark Boss/Unsplash

Ein kürzlich veröffentlichter Bericht von The Markup and The City zeigt, dass MyCity, ein von der New Yorker Stadtverwaltung lancierter Chatbot, die gefährliche Tendenz hat, falsche Informationen zu einer Reihe von wichtigen Fragen bezüglich lokaler Gesetze und Vorschriften zu liefern.

Was bekannt ist

Der MyCity-Chatbot, der auf der Azure-Plattform von Microsoft läuft, wurde im Oktober 2023 als Pilotprojekt eingeführt, um Geschäftsinhabern zu helfen, die städtischen Vorschriften zu verstehen. Bei Tests stellte sich jedoch heraus, dass der Bot falsche Informationen über wichtige Themen wie die Anerkennung von Wohngutscheinen der Sektion 8, Arbeitsentgelte, Arbeitszeitregelungen und Preisgestaltung in einigen Branchen verbreitete.

Der MyCity-Chatbot behauptet, dass man in New York City einen Laden für Menschenfleisch eröffnen kann.

Trotz der Warnungen, dass MyCity ungenaue oder schädliche Inhalte liefern könnte, wird der Bot als offizielle Informationsquelle für Geschäfte in New York City positioniert. Dies hat bei Mitgliedern des lokalen Gastgewerbes Besorgnis ausgelöst, die selbst auf Ungenauigkeiten in den Antworten des Bots gestoßen sind.

Das Problem mit Chatbots, die auf großen Sprachmodellen basieren, besteht darin, dass sie Antworten auf der Grundlage statistischer Assoziationen und nicht auf der Grundlage eines echten Verständnisses der Informationen erzeugen. Dies kann zu Konfabulationen und der Ausgabe falscher Informationen führen, wenn die einzig richtige Antwort nicht vollständig in den Trainingsdaten enthalten ist.

Dieser Vorfall zeigt, wie gefährlich es ist, wenn Regierungen und Unternehmen Chatbots voreilig einsetzen, bevor sie deren Genauigkeit und Zuverlässigkeit vollständig getestet haben. Unternehmen hatten schon früher Probleme mit Chatbots, die falsche Informationen über Rückgabebedingungen, Steuerfragen und Produktpreise verbreiteten.

Als Reaktion auf die Kritik erklärten Beamte der New Yorker Stadtverwaltung, sie würden den MyCity-Chatbot weiter verbessern, um kleine Unternehmen in der Stadt besser zu unterstützen. Der Vorfall zeigt jedoch, dass derartige Systeme gründlicher getestet und angepasst werden müssen, bevor sie für den öffentlichen Gebrauch eingesetzt werden.

Quelle: Ars Technica