Onderzoek: Google's Gemini is inferieur aan OpenAI's GPT-3.5 Turbo
Volgens onderzoek uitgevoerd door specialisten van de Carnegie Mellon University en het bedrijf BerriAI is Google's Gemini Pro taalmodel op de meeste indicatoren inferieur aan OpenAI's GPT-3.5 Turbo model.
Dit is wat we weten
Bij het testen van de modellen op verschillende taken, waaronder meerkeuzevragen over verschillende onderwerpen en logische taken, presteerde Gemini Pro slechter dan GPT-3.5 Turbo. De achterstand was vooral significant op gebieden zoals wiskunde, programmeren en het verwerken van lange complexe vragen.
Testresultaten van de grote taalmodellen Gemini Pro, GPT-3.5 Turbo, GPT-4 Turbo en Mixtral
Gemini liet een voordeel zien bij het sorteren van woorden, het verwerken van tekens en tekstvertaaltaken. Desondanks loopt het model nog steeds achter op GPT-3.5 Turbo wat betreft algemene prestaties.
Taken waarin Gemini Pro beter presteerde dan GPT-3.5 Turbo
Een woordvoerder van Google zei dat de interne tests van het bedrijf de superioriteit van de Gemini Pro ten opzichte van de GPT-3.5 aantonen. Bovendien wordt verwacht dat de Gemini Ultra, die in 2024 uitkomt, beter zal presteren dan alle huidige modellen, inclusief de GPT-4.
Ga dieper:
- Google heeft het Gemini AI-model uitgebracht in drie configuraties
- Google is beschuldigd van het vervalsen van een video waarin de AI-mogelijkheden van Gemini worden gedemonstreerd.
Bron: VentureBeat