Il chatbot Ernie Baidu supera ChatGPT in diversi test di benchmark

Baidu ha annunciato che il modello Ernie 3.5 AI alla base del suo chatbot ha superato ChatGPT di OpenAI in diverse aree chiave.

Cosa si sa

Secondo il gigante tecnologico, Ernie 3.5 ha superato GPT-3.5 in una serie di test di benchmark. Il modello ha anche superato GPT-4 nei test in lingua cinese.

Uno dei benchmark era basato su esami di ammissione e qualificazione standard. Ernie 3.5 ha superato entrambi i modelli OpenAI in cinese. Tuttavia, l'algoritmo è risultato inferiore a GPT-4 nei compiti in inglese, ma superiore a ChatGPT.

Il test è incentrato sulla lingua cinese e contiene oltre 13.000 domande a scelta multipla che coprono più di 50 argomenti diversi. In questa valutazione, Ernie 3.5 ha superato ChatGPT e GPT-4.

Il terzo test contiene domande su vari argomenti di scienze naturali e umanistiche. Ernie 3.5 si è piazzato dietro sia a ChatGPT che a GPT-4.

Cos'altro si sa?

Baidu sta testando pubblicamente il bot Ernie in Cina dal marzo 2023. È basato sul modello linguistico Ernie 3.5. Secondo gli sviluppatori, il chatbot è in grado di convertire registrazioni audio in note scritte, creare e-mail, generare testi su richiesta e molto altro ancora.

Fonte: CNBC.