Studie: Googles Gemini er dårligere enn OpenAIs GPT-3.5 Turbo

Av: Bohdan Kaminskyi | 20.12.2023, 20:16

Google

Ifølge forskning utført av spesialister fra Carnegie Mellon University og BerriAI er Googles Gemini Pro-språkmodell dårligere enn OpenAIs GPT-3.5 Turbo-modell på de fleste områder.

Dette er hva vi vet

Når vi testet modellene på en rekke oppgaver, inkludert flervalgsspørsmål om ulike fagområder og logiske oppgaver, gjorde Gemini Pro det dårligere enn GPT-3.5 Turbo. Etterslepet var spesielt stort på områder som matematikk, programmering og behandling av lange, komplekse spørsmål.


Testresultater av de store språkmodellene Gemini Pro, GPT-3.5 Turbo, GPT-4 Turbo og Mixtral

Gemini viste en fordel i ordsortering, tegnhåndtering og tekstoversettelse. Likevel ligger modellen fortsatt bak GPT-3.5 Turbo når det gjelder samlet ytelse.


Oppgaver der Gemini Pro presterte bedre enn GPT-3.5 Turbo

En talsperson for Google sier at selskapets interne tester viser at Gemini Pro er overlegen GPT-3.5. I tillegg forventes Gemini Ultra, som kommer ut i 2024, å overgå alle nåværende modeller, inkludert GPT-4.

Gå dypere:

Kilde: VentureBeat VentureBeat