Studie: Googles Gemini er dårligere enn OpenAIs GPT-3.5 Turbo
Ifølge forskning utført av spesialister fra Carnegie Mellon University og BerriAI er Googles Gemini Pro-språkmodell dårligere enn OpenAIs GPT-3.5 Turbo-modell på de fleste områder.
Dette er hva vi vet
Når vi testet modellene på en rekke oppgaver, inkludert flervalgsspørsmål om ulike fagområder og logiske oppgaver, gjorde Gemini Pro det dårligere enn GPT-3.5 Turbo. Etterslepet var spesielt stort på områder som matematikk, programmering og behandling av lange, komplekse spørsmål.
Testresultater av de store språkmodellene Gemini Pro, GPT-3.5 Turbo, GPT-4 Turbo og Mixtral
Gemini viste en fordel i ordsortering, tegnhåndtering og tekstoversettelse. Likevel ligger modellen fortsatt bak GPT-3.5 Turbo når det gjelder samlet ytelse.
Oppgaver der Gemini Pro presterte bedre enn GPT-3.5 Turbo
En talsperson for Google sier at selskapets interne tester viser at Gemini Pro er overlegen GPT-3.5. I tillegg forventes Gemini Ultra, som kommer ut i 2024, å overgå alle nåværende modeller, inkludert GPT-4.
Gå dypere:
- Google har lansert Gemini AI-modellen i tre konfigurasjoner
- Google har blitt beskyldt for å ha forfalsket en video som demonstrerer Geminis AI-evner.
Kilde: VentureBeat VentureBeat