Estudio: Gemini de Google es inferior a GPT-3.5 Turbo de OpenAI

Por: Bohdan Kaminskyi | 20.12.2023, 20:16

Google

Según la investigación realizada por especialistas de la Universidad Carnegie Mellon y la empresa BerriAI, el modelo lingüístico Gemini Pro de Google es inferior al modelo GPT-3.5 Turbo de OpenAI en la mayoría de los indicadores.

Esto es lo que sabemos

Al probar los modelos en diversas tareas, incluidas preguntas de opción múltiple sobre diferentes áreas temáticas y tareas lógicas, Gemini Pro obtuvo peores resultados que GPT-3.5 Turbo. El retraso fue especialmente significativo en áreas como las matemáticas, la programación y el procesamiento de consultas largas y complejas.


Resultados de las pruebas de los grandes modelos lingüísticos Gemini Pro, GPT-3.5 Turbo, GPT-4 Turbo y Mixtral

Gemini mostró una ventaja en las tareas de clasificación de palabras, tratamiento de caracteres y traducción de textos. No obstante, el modelo sigue por detrás del GPT-3.5 Turbo en cuanto a rendimiento global.


Tareas en las que Gemini Pro superó a GPT-3.5 Turbo

Un portavoz de Google ha declarado que las pruebas internas de la compañía demuestran la superioridad del Gemini Pro sobre el GPT-3.5. Además, se espera que el Gemini Ultra que saldrá en 2024 supere a todos los modelos actuales, incluido el GPT-4.

Profundiza:

Fuente: VentureBeat