Галлюцинации ИИ угрожают научной достоверности — исследование

Способность больших языковых моделей (LLM) генерировать ложный, но убедительный контент представляет собой прямую угрозу науке и научной истине. Об этом говорится в исследовании Оксфордского института Интернета.

Что известно

Особенность генеративного ИИ "выдумывать" информацию называют галлюцинациями. Обученные на данных из интернета LLM не могут гарантировать достоверности ответов, считают исследователи.

Наборы данных могут содержать ложные утверждения, мнения и неточную информацию. Кроме этого, избыточное доверие людей к чат-ботам может усугубить проблему.

Соавтор исследования Брент Миттельштадт (Brent Mittelstadt) отметил, что пользователи антропоморфизируют LLM, воспринимая их ответы как истину. Отчасти этому способствует интерфейс чат-ботов, которые общаются с людьми и отвечают на, казалось бы, любой вопрос уверенно звучащим, хорошо написанным текстом.

В науке особенно важно опираться на достоверные данные. Чтобы избежать галлюцинаций ИИ, ученые рекомендуют использовать LLM в качестве "переводчика с нулевым результатом". Это значит, что пользователи должны предоставлять алгоритму соответствующие данные и просить преобразовать их, а не полагаться на модель как на источник знаний.

Таким образом, становится проще проверить корректность результата.

Ученые не отрицают, что LLM помогут в организации научного процесса. Однако они призвали сообщество более ответственно подходить к использованию ИИ.

Источник: The Next Web