Studie: Googles Gemini ist dem GPT-3.5 Turbo von OpenAI unterlegen
Laut der von Spezialisten der Carnegie Mellon University und der Firma BerriAI durchgeführten Untersuchung ist das Sprachmodell Gemini Pro von Google dem GPT-3.5 Turbo-Modell von OpenAI in den meisten Punkten unterlegen.
Was bekannt ist
Beim Testen der Modelle bei einer Vielzahl von Aufgaben, darunter Multiple-Choice-Fragen zu verschiedenen Themenbereichen und Logikaufgaben, schnitt Gemini Pro schlechter ab als GPT-3.5 Turbo. Besonders deutlich war der Rückstand in Bereichen wie Mathematik, Programmierung und der Bearbeitung langer komplexer Abfragen.
Testergebnisse der großen Sprachmodelle Gemini Pro, GPT-3.5 Turbo, GPT-4 Turbo und Mixtral
Gemini zeigte einen Vorteil bei der Wortsortierung, der Zeichenverarbeitung und bei Textübersetzungsaufgaben. Dennoch liegt das Modell in Bezug auf die Gesamtleistung immer noch hinter dem GPT-3.5 Turbo zurück.
Aufgaben, bei denen Gemini Pro den GPT-3.5 Turbo übertraf
Ein Google-Sprecher sagte, dass die internen Tests des Unternehmens die Überlegenheit des Gemini Pro gegenüber dem GPT-3.5 belegen. Darüber hinaus wird erwartet, dass der Gemini Ultra, der 2024 auf den Markt kommt, alle aktuellen Modelle, einschließlich des GPT-4, übertreffen wird.
Für diejenigen, die mehr wissen wollen
- Google hat das Gemini AI-Modell in drei Konfigurationen veröffentlicht
- Google wurde beschuldigt, ein Video gefälscht zu haben, das die KI-Fähigkeiten von Gemini demonstriert
Quelle: VentureBeat