Estudio: Gemini de Google es inferior a GPT-3.5 Turbo de OpenAI
Según la investigación realizada por especialistas de la Universidad Carnegie Mellon y la empresa BerriAI, el modelo lingüístico Gemini Pro de Google es inferior al modelo GPT-3.5 Turbo de OpenAI en la mayoría de los indicadores.
Esto es lo que sabemos
Al probar los modelos en diversas tareas, incluidas preguntas de opción múltiple sobre diferentes áreas temáticas y tareas lógicas, Gemini Pro obtuvo peores resultados que GPT-3.5 Turbo. El retraso fue especialmente significativo en áreas como las matemáticas, la programación y el procesamiento de consultas largas y complejas.
Resultados de las pruebas de los grandes modelos lingüísticos Gemini Pro, GPT-3.5 Turbo, GPT-4 Turbo y Mixtral
Gemini mostró una ventaja en las tareas de clasificación de palabras, tratamiento de caracteres y traducción de textos. No obstante, el modelo sigue por detrás del GPT-3.5 Turbo en cuanto a rendimiento global.
Tareas en las que Gemini Pro superó a GPT-3.5 Turbo
Un portavoz de Google ha declarado que las pruebas internas de la compañía demuestran la superioridad del Gemini Pro sobre el GPT-3.5. Además, se espera que el Gemini Ultra que saldrá en 2024 supere a todos los modelos actuales, incluido el GPT-4.
Profundiza:
- Google ha lanzado el modelo Gemini AI en tres configuraciones
- Google ha sido acusado de falsificar un vídeo que demostraba las capacidades de IA de Gemini
Fuente: VentureBeat