Étude : Gemini de Google est inférieur à GPT-3.5 Turbo d'OpenAI
Selon les recherches menées par des spécialistes de l'université Carnegie Mellon et de la société BerriAI, le modèle linguistique Gemini Pro de Google est inférieur au modèle GPT-3.5 Turbo d'OpenAI selon la plupart des indicateurs.
Voici ce que nous savons
En testant les modèles sur une variété de tâches, y compris des questions à choix multiples sur différents sujets et des tâches logiques, Gemini Pro a obtenu de moins bons résultats que GPT-3.5 Turbo. Le retard était particulièrement important dans des domaines tels que les mathématiques, la programmation et le traitement de longues requêtes complexes.
Résultats des tests des grands modèles linguistiques Gemini Pro, GPT-3.5 Turbo, GPT-4 Turbo et Mixtral
Gemini a montré un avantage dans les tâches de tri de mots, de traitement de caractères et de traduction de textes. Néanmoins, le modèle reste derrière le GPT-3.5 Turbo en termes de performances globales.
Tâches pour lesquelles Gemini Pro a surpassé le GPT-3.5 Turbo
Un porte-parole de Google a déclaré que les tests internes de l'entreprise démontrent la supériorité du Gemini Pro sur le GPT-3.5. En outre, le Gemini Ultra, qui sortira en 2024, devrait surpasser tous les modèles actuels, y compris le GPT-4.
Approfondir :
- Google a décliné le modèle Gemini AI en trois configurations
- Google a été accusé d'avoir falsifié une vidéo démontrant les capacités d'IA de Gemini.
Source : VentureBeat