Un software de detección de IA discrimina a los hablantes de inglés no nativos: estudio

Los programas informáticos de identificación de textos generados por inteligencia artificial pueden discriminar a los hablantes no nativos de inglés.

Lo que sabemos.

Los científicos sometieron 91 textos en inglés escritos por hablantes no nativos a siete detectores populares de GPT para determinar su precisión. Los resultados mostraron que esos artículos solían etiquetarse falsamente como generados por inteligencia artificial.

Más de la mitad de las redacciones escritas para el examen de inglés TOEFL, reconocido universalmente, se marcaron como escritas por inteligencia artificial. Además, uno de los programas informó de que el 98% de los textos habían sido generados por IA.

Cuando estos programas comprobaron los textos escritos por hablantes nativos de inglés, los clasificaron como escritos por humanos en más del 90% de los casos.

Los científicos explican esta discriminación por la forma en que los detectores distinguen la IA de los humanos. Los programas se analizan en función de la llamada "sorpresa textual ", una medida de la "sorpresa" o "confusión" del modelo al intentar predecir la siguiente palabra de una frase.

Si el algoritmo se enfrenta fácilmente a la tarea, la sorpresa del texto se califica de baja. Sin embargo, si la siguiente palabra es difícil de predecir, la puntuación de sorpresa del texto es alta.

En otras palabras, si una persona utiliza palabras y frases sencillas, es más probable que el programa las acepte como IA. Por regla general, los hablantes no nativos suelen utilizar palabras y expresiones comunes, lo que conduce a la discriminación.

Tras descubrir el sesgo incorporado en los programas de reconocimiento de IA, los investigadores pidieron a ChatGPT que reescribiera los ensayos del TOEFL utilizando una redacción más compleja. Cuando los textos editados volvieron a pasar por los detectores, todos fueron marcados como humanos.

Según los investigadores, con la llegada de ChatGPT, muchos educadores han empezado a ver la detección de IA como "una contramedida crucial para prevenir una nueva forma de hacer trampas en el siglo XXI". Sin embargo, advierten de que la precisión del 99% que afirman tener algunos detectores es "engañosa en el mejor de los casos".

Fuente: The Guardian.