Las alucinaciones de la IA amenazan la credibilidad científica: estudio

La capacidad de los grandes modelos lingüísticos (LLM) para generar contenidos falsos pero persuasivos es una amenaza directa para la ciencia y la verdad científica. Así lo afirma un estudio del Oxford Internet Institute.

Esto es lo que sabemos

La característica de la IA generativa de "inventar" información se denomina alucinaciones. Los investigadores afirman que las LLM entrenadas con datos de Internet no pueden garantizar la validez de las respuestas.

Los conjuntos de datos pueden contener afirmaciones falsas, opiniones e información inexacta. Además, la excesiva confianza de la gente en los chatbots podría agravar el problema.

Brent Mittelstadt, coautor del estudio, señaló que los usuarios antropomorfizan a los LLM, tomando sus respuestas como verdaderas. Esto se debe en parte a la interfaz de los chatbots, que se comunican con los humanos y responden a cualquier pregunta con textos bien redactados y que suenan seguros.

En ciencia, es especialmente importante basarse en datos fiables. Para evitar las alucinaciones de la IA, los científicos recomiendan usar los LLM como un "traductor de suma cero". Esto significa que los usuarios deben proporcionar al algoritmo datos relevantes y pedirle que los transforme, en lugar de confiar en el modelo como fuente de conocimiento.

De este modo, resulta más fácil verificar la corrección del resultado.

Los científicos no niegan que los LLM ayudarán a organizar el proceso científico. Sin embargo, instan a la comunidad a ser más responsable en el uso de la IA.

Fuente: The Next Web