Дослідження: Gemini від Google поступається GPT-3.5 Turbo від OpenAI

Автор: Богдан Камінський | 20 грудня 2023, 20:16

Google

Згідно з дослідженням, проведеним фахівцями з Університету Карнегі-Меллона і компанії BerriAI, мовна модель Gemini Pro від Google поступається за більшістю показників моделі GPT-3.5 Turbo від OpenAI.

Що відомо

Під час тестування моделей на різних завданнях, включно з питаннями з множинним вибором із різних предметних сфер і логічними завданнями, Gemini Pro показала нижчі результати порівняно з GPT-3.5 Turbo. Особливо значне відставання спостерігалося в таких сферах як математика, програмування та обробка довгих складних запитів.


Результати тестування великих мовних моделей Gemini Pro, GPT-3.5 Turbo, GPT-4 Turbo і Mixtral

При цьому Gemini продемонструвала перевагу в завданнях на сортування слів, роботу з символами та переклад текстів. Проте за загальними показниками модель, як і раніше, поступається GPT-3.5 Turbo.


Завдання, в яких Gemini Pro перевершив GPT-3.5 Turbo

Представник Google заявив, що внутрішні тести компанії демонструють перевагу Gemini Pro над GPT-3.5. Крім того, очікується, що Gemini Ultra, яка вийде 2024 року, перевершить усі поточні моделі, включно з GPT-4.

Для тих, хто хоче знати більше:

Джерело: VentureBeat