Дослідження: Gemini від Google поступається GPT-3.5 Turbo від OpenAI
![Дослідження: Gemini від Google поступається GPT-3.5 Turbo від OpenAI Дослідження: Gemini від Google поступається GPT-3.5 Turbo від OpenAI](/media/uploads/798bf7c0bb0b24256feba50e23d28b56.jpg)
Згідно з дослідженням, проведеним фахівцями з Університету Карнегі-Меллона і компанії BerriAI, мовна модель Gemini Pro від Google поступається за більшістю показників моделі GPT-3.5 Turbo від OpenAI.
Що відомо
Під час тестування моделей на різних завданнях, включно з питаннями з множинним вибором із різних предметних сфер і логічними завданнями, Gemini Pro показала нижчі результати порівняно з GPT-3.5 Turbo. Особливо значне відставання спостерігалося в таких сферах як математика, програмування та обробка довгих складних запитів.
![Дослідження: Gemini від Google поступається GPT-3.5 Turbo від OpenAI-2 Дослідження: Gemini від Google поступається GPT-3.5 Turbo від OpenAI-2](/media/uploads/screen-shot-2023-12-19-at-121243-pm.png)
Результати тестування великих мовних моделей Gemini Pro, GPT-3.5 Turbo, GPT-4 Turbo і Mixtral
При цьому Gemini продемонструвала перевагу в завданнях на сортування слів, роботу з символами та переклад текстів. Проте за загальними показниками модель, як і раніше, поступається GPT-3.5 Turbo.
![Дослідження: Gemini від Google поступається GPT-3.5 Turbo від OpenAI-3 Дослідження: Gemini від Google поступається GPT-3.5 Turbo від OpenAI-3](/media/uploads/screen-shot-2023-12-19-at-122357-pm.png)
Завдання, в яких Gemini Pro перевершив GPT-3.5 Turbo
Представник Google заявив, що внутрішні тести компанії демонструють перевагу Gemini Pro над GPT-3.5. Крім того, очікується, що Gemini Ultra, яка вийде 2024 року, перевершить усі поточні моделі, включно з GPT-4.
Для тих, хто хоче знати більше:
- Google випустила ШІ-модель Gemini у трьох конфігураціях
- Google звинуватили у фальсифікації відео з демонстрацією можливостей ШІ Gemini
Джерело: VentureBeat