Chatbot Ernie Baidu übertrifft ChatGPT in mehreren Benchmark-Tests

Baidu hat bekannt gegeben, dass das KI-Modell Ernie 3.5, das seinem Chatbot zugrunde liegt, den ChatGPT von OpenAI in mehreren Schlüsselbereichen übertroffen hat.

Was wir wissen

Nach Angaben des Tech-Giganten übertraf Ernie 3.5 GPT-3.5 in einer Reihe von Benchmark-Tests. Das Modell übertraf auch GPT-4 in chinesischen Sprachtests.

Einer der Vergleichstests basierte auf standardmäßigen Aufnahme- und Qualifikationstests. Ernie 3.5 übertraf beide OpenAI-Modelle in Chinesisch. Bei den englischen Aufgaben war der Algorithmus jedoch schlechter als GPT-4, aber besser als ChatGPT.

Der Test konzentriert sich auf die chinesische Sprache und enthält mehr als 13.000 Multiple-Choice-Fragen zu mehr als 50 verschiedenen Themen. Bei dieser Bewertung lag Ernie 3.5 vor ChatGPT und GPT-4.

Der dritte Test enthält Fragen zu verschiedenen Themen aus den Natur- und Geisteswissenschaften. Ernie 3.5 lag sowohl hinter ChatGPT als auch hinter GPT-4.

Was sonst noch bekannt ist

Baidu hat den Ernie-Bot in China seit März 2023 öffentlich getestet. Er basiert auf dem Ernie 3.5 Sprachmodell. Nach Angaben der Entwickler kann der Chatbot Audioaufnahmen in schriftliche Notizen umwandeln, E-Mails erstellen, Texte auf Aufforderungen hin generieren und vieles mehr.

Quelle: CNBC.