Studie: Googles Gemini ist dem GPT-3.5 Turbo von OpenAI unterlegen

Von Bohdan Kaminskyi | 20.12.2023, 19:20
Studie: Googles Gemini ist dem GPT-3.5 Turbo von OpenAI unterlegen
Google

Laut der von Spezialisten der Carnegie Mellon University und der Firma BerriAI durchgeführten Untersuchung ist das Sprachmodell Gemini Pro von Google dem GPT-3.5 Turbo-Modell von OpenAI in den meisten Punkten unterlegen.

Was bekannt ist

Beim Testen der Modelle bei einer Vielzahl von Aufgaben, darunter Multiple-Choice-Fragen zu verschiedenen Themenbereichen und Logikaufgaben, schnitt Gemini Pro schlechter ab als GPT-3.5 Turbo. Besonders deutlich war der Rückstand in Bereichen wie Mathematik, Programmierung und der Bearbeitung langer komplexer Abfragen.

Studie: Googles Gemini ist dem GPT-3.5 Turbo von OpenAI unterlegen-2
Testergebnisse der großen Sprachmodelle Gemini Pro, GPT-3.5 Turbo, GPT-4 Turbo und Mixtral

Gemini zeigte einen Vorteil bei der Wortsortierung, der Zeichenverarbeitung und bei Textübersetzungsaufgaben. Dennoch liegt das Modell in Bezug auf die Gesamtleistung immer noch hinter dem GPT-3.5 Turbo zurück.

Studie: Googles Gemini ist dem GPT-3.5 Turbo von OpenAI unterlegen-3
Aufgaben, bei denen Gemini Pro den GPT-3.5 Turbo übertraf

Ein Google-Sprecher sagte, dass die internen Tests des Unternehmens die Überlegenheit des Gemini Pro gegenüber dem GPT-3.5 belegen. Darüber hinaus wird erwartet, dass der Gemini Ultra, der 2024 auf den Markt kommt, alle aktuellen Modelle, einschließlich des GPT-4, übertreffen wird.

Für diejenigen, die mehr wissen wollen

Quelle: VentureBeat