OpenAI scheint keine hochwertigen Trainingsdaten für das GPT-5-Training mehr zu haben

Die Entwicklung von GPT-5 OpenAI wurde durch hohe Kosten und technische Probleme ernsthaft behindert, obwohl die Arbeit an dem Projekt bereits seit mehr als 18 Monaten andauert.

Was bekannt ist

Früher hoffte Microsoft, dass das neue Modell bis Mitte 2024 fertig sein würde, aber der Termin wird nicht eingehalten werden können.

Nach Angaben des Wall Street Journal kostet jedes GPT-5-Training das Unternehmen mehr als 500 Millionen Dollar allein an Rechenleistung, aber das Ergebnis hat die Erwartungen bisher nicht erfüllt. Im Vergleich zu GPT-4 wurden nur geringfügige Verbesserungen erzielt, die nicht ausreichen, um einen so hohen Aufwand zu rechtfertigen.

Eines der Hauptprobleme ist der Mangel an hochwertigen Daten zum Trainieren des Modells. Das öffentliche Internet bietet nicht genügend vielfältige und hochwertige Daten, um die gewünschten Ergebnisse zu erzielen. Um dieses Problem zu lösen, hat OpenAI Experten gebeten, neues Trainingsmaterial zu erstellen, z. B. Softwarecode und mathematische Probleme. Dieser Prozess ist jedoch sehr langsam.

Für das GPT-4-Training waren beispielsweise 13 Billionen Token erforderlich, eine riesige Textmenge, die nicht in kurzer Zeit gesammelt werden kann.

Auch die internen Probleme des Unternehmens haben die Situation verschlimmert: Mehr als zwei Dutzend wichtige Führungskräfte verließen OpenAI im Jahr 2024, darunter Chief Scientist Ilya Sutskever und CTO Mira Murati. Neben GPT-5 arbeitet das Unternehmen an weiteren Projekten wie o1 und Sora.

Der CEO von OpenAI, Sam Altman, bestätigte, dass GPT-5 im Jahr 2024 nicht erscheinen wird, was die Pläne des Unternehmens für die Entwicklung künstlicher Intelligenz erheblich verzögert.

Quelle: WSJ