Studio: Gemini di Google è inferiore al GPT-3.5 Turbo di OpenAI
Secondo una ricerca condotta da specialisti della Carnegie Mellon University e della società BerriAI, il modello linguistico Gemini Pro di Google è inferiore al modello GPT-3.5 Turbo di OpenAI per la maggior parte degli indicatori.
Ecco cosa sappiamo
Nel testare i modelli su una serie di compiti, tra cui domande a scelta multipla su diverse aree tematiche e compiti di logica, Gemini Pro si è comportato peggio di GPT-3.5 Turbo. Il ritardo è stato particolarmente significativo in aree come la matematica, la programmazione e l'elaborazione di query lunghe e complesse.
Risultati dei test dei modelli linguistici di grandi dimensioni Gemini Pro, GPT-3.5 Turbo, GPT-4 Turbo e Mixtral
Gemini ha mostrato un vantaggio nell'ordinamento delle parole, nella gestione dei caratteri e nella traduzione di testi. Tuttavia, il modello è ancora indietro rispetto al GPT-3.5 Turbo in termini di prestazioni complessive.
Attività in cui Gemini Pro ha superato GPT-3.5 Turbo
Un portavoce di Google ha affermato che i test interni dell'azienda dimostrano la superiorità di Gemini Pro rispetto a GPT-3.5. Inoltre, si prevede che il Gemini Ultra, in uscita nel 2024, supererà tutti i modelli attuali, compreso il GPT-4.
Approfondimento:
- Google ha rilasciato il modello Gemini AI in tre configurazioni
- Google è stata accusata di aver falsificato un video che dimostrava le capacità di intelligenza artificiale di Gemini.
Fonte: VentureBeat