Исследование: Gemini от Google уступает GPT-3.5 Turbo от OpenAI
![Исследование: Gemini от Google уступает GPT-3.5 Turbo от OpenAI Исследование: Gemini от Google уступает GPT-3.5 Turbo от OpenAI](/media/uploads/798bf7c0bb0b24256feba50e23d28b56.jpg)
Согласно исследованию, проведенному специалистами из Университета Карнеги-Меллона и компании BerriAI, языковая модель Gemini Pro от Google уступает по большинству показателей модели GPT-3.5 Turbo от OpenAI.
Что известно
В ходе тестирования моделей на различных задачах, включая вопросы со множественным выбором по разным предметным областям и логические задачи, Gemini Pro показала более низкие результаты по сравнению с GPT-3.5 Turbo. Особенно значительное отставание наблюдалось в таких сферах как математика, программирование и обработка длинных сложных запросов.
![Исследование: Gemini от Google уступает GPT-3.5 Turbo от OpenAI-2 Исследование: Gemini от Google уступает GPT-3.5 Turbo от OpenAI-2](/media/uploads/screen-shot-2023-12-19-at-121243-pm.png)
Результаты тестирования больших языковых моделей Gemini Pro, GPT-3.5 Turbo, GPT-4 Turbo и Mixtral
При этом Gemini продемонстрировала преимущество в задачах на сортировку слов, работу с символами и перевод текстов. Тем не менее по общим показателям модель по-прежнему уступает GPT-3.5 Turbo.
![Исследование: Gemini от Google уступает GPT-3.5 Turbo от OpenAI-3 Исследование: Gemini от Google уступает GPT-3.5 Turbo от OpenAI-3](/media/uploads/screen-shot-2023-12-19-at-122357-pm.png)
Задачи, в которых Gemini Pro превзошел GPT-3.5 Turbo
Представитель Google заявил, что внутренние тесты компании демонстрируют превосходство Gemini Pro над GPT-3.5. Кроме того, ожидается, что выходящая в 2024 году Gemini Ultra превзойдёт все текущие модели, включая GPT-4.
Для тех, кто хочет знать больше:
- Google выпустила ИИ-модель Gemini в трех конфигурациях
- Google обвинили в фальсификации видео с демонстрацией возможностей ИИ Gemini
Источник: VentureBeat