Исследование: Gemini от Google уступает GPT-3.5 Turbo от OpenAI
Согласно исследованию, проведенному специалистами из Университета Карнеги-Меллона и компании BerriAI, языковая модель Gemini Pro от Google уступает по большинству показателей модели GPT-3.5 Turbo от OpenAI.
Что известно
В ходе тестирования моделей на различных задачах, включая вопросы со множественным выбором по разным предметным областям и логические задачи, Gemini Pro показала более низкие результаты по сравнению с GPT-3.5 Turbo. Особенно значительное отставание наблюдалось в таких сферах как математика, программирование и обработка длинных сложных запросов.
Результаты тестирования больших языковых моделей Gemini Pro, GPT-3.5 Turbo, GPT-4 Turbo и Mixtral
При этом Gemini продемонстрировала преимущество в задачах на сортировку слов, работу с символами и перевод текстов. Тем не менее по общим показателям модель по-прежнему уступает GPT-3.5 Turbo.
Задачи, в которых Gemini Pro превзошел GPT-3.5 Turbo
Представитель Google заявил, что внутренние тесты компании демонстрируют превосходство Gemini Pro над GPT-3.5. Кроме того, ожидается, что выходящая в 2024 году Gemini Ultra превзойдёт все текущие модели, включая GPT-4.
Для тех, кто хочет знать больше:
- Google выпустила ИИ-модель Gemini в трех конфигурациях
- Google обвинили в фальсификации видео с демонстрацией возможностей ИИ Gemini
Источник: VentureBeat