Дослідження: Gemini від Google поступається GPT-3.5 Turbo від OpenAI
Згідно з дослідженням, проведеним фахівцями з Університету Карнегі-Меллона і компанії BerriAI, мовна модель Gemini Pro від Google поступається за більшістю показників моделі GPT-3.5 Turbo від OpenAI.
Що відомо
Під час тестування моделей на різних завданнях, включно з питаннями з множинним вибором із різних предметних сфер і логічними завданнями, Gemini Pro показала нижчі результати порівняно з GPT-3.5 Turbo. Особливо значне відставання спостерігалося в таких сферах як математика, програмування та обробка довгих складних запитів.
Результати тестування великих мовних моделей Gemini Pro, GPT-3.5 Turbo, GPT-4 Turbo і Mixtral
При цьому Gemini продемонструвала перевагу в завданнях на сортування слів, роботу з символами та переклад текстів. Проте за загальними показниками модель, як і раніше, поступається GPT-3.5 Turbo.
Завдання, в яких Gemini Pro перевершив GPT-3.5 Turbo
Представник Google заявив, що внутрішні тести компанії демонструють перевагу Gemini Pro над GPT-3.5. Крім того, очікується, що Gemini Ultra, яка вийде 2024 року, перевершить усі поточні моделі, включно з GPT-4.
Для тих, хто хоче знати більше:
- Google випустила ШІ-модель Gemini у трьох конфігураціях
- Google звинуватили у фальсифікації відео з демонстрацією можливостей ШІ Gemini
Джерело: VentureBeat