Un chatbot de Nueva York proporciona información engañosa sobre las leyes de la ciudad

Un informe reciente de The Markup and The City reveló una peligrosa tendencia de MyCity, un chatbot lanzado por el gobierno de la ciudad de Nueva York, a proporcionar información incorrecta sobre una serie de cuestiones importantes relativas a las leyes y reglamentos locales.

Esto es lo que sabemos

El chatbot MyCity, que se ejecuta en la plataforma Azure de Microsoft, se introdujo en octubre de 2023 como un proyecto piloto para ayudar a los propietarios de negocios a comprender las regulaciones de la ciudad. Sin embargo, las pruebas revelaron que el bot estaba difundiendo información errónea sobre cuestiones clave como la aceptación de vales de vivienda de la Sección 8, la compensación laboral, la regulación de las horas de trabajo y la fijación de precios en algunas industrias.

A pesar de las advertencias de que MyCity puede ofrecer contenidos inexactos o perjudiciales, el bot se posiciona como una fuente oficial de información sobre cómo hacer negocios en la ciudad de Nueva York. Esto ha causado preocupación entre los miembros de la industria hostelera local, que se han encontrado con inexactitudes en las respuestas del bot.

El problema de los chatbots basados en grandes modelos lingüísticos es que generan respuestas basadas en asociaciones estadísticas y no en una comprensión real de la información. Esto puede llevar a confabulaciones y a emitir información incorrecta cuando la única respuesta correcta no está totalmente reflejada en los datos de entrenamiento.

Este incidente pone de relieve los peligros de que los gobiernos y las empresas desplieguen prematuramente los chatbots antes de probar plenamente su precisión y fiabilidad. Las empresas ya han tenido problemas anteriormente con chatbots que difundían información falsa sobre políticas de devolución, cuestiones fiscales y precios de productos.

En respuesta a las críticas, funcionarios del gobierno de Nueva York dijeron que seguirán mejorando el chatbot MyCity para apoyar mejor a las pequeñas empresas de la ciudad. No obstante, el incidente apunta a la necesidad de realizar pruebas más exhaustivas y personalizar este tipo de sistemas antes de desplegarlos para uso público.

Fuente: Ars Technica