OpenAI lijkt geen kwalitatieve trainingsgegevens meer te hebben voor GPT-5 training
De ontwikkeling van GPT-5 OpenAI wordt ernstig gehinderd door hoge kosten en technische problemen, hoewel er al meer dan 18 maanden aan het project wordt gewerkt.
Dit is wat we weten
Eerder hoopte Microsoft dat het nieuwe model medio 2024 klaar zou zijn, maar die deadline wordt niet gehaald.
Volgens The Wall Street Journal kost elke GPT-5 training het bedrijf alleen al aan rekenkracht meer dan 500 miljoen dollar, maar het resultaat heeft nog niet aan de verwachtingen voldaan. Vergeleken met GPT-4 zijn er slechts kleine verbeteringen bereikt, en die zijn niet genoeg om zo'n enorme uitgave te rechtvaardigen.
Een van de grootste problemen is het gebrek aan gegevens van hoge kwaliteit om het model te trainen. Het openbare internet kan niet genoeg diverse en hoogwaardige gegevens leveren om de gewenste resultaten te behalen. Om dit probleem op te lossen heeft OpenAI experts uitgenodigd om nieuw trainingsmateriaal te maken, zoals softwarecode en wiskundige problemen. Dit proces verloopt echter erg traag.
Voor GPT-4 training waren bijvoorbeeld 13 biljoen tokens nodig, wat een enorme hoeveelheid tekst is die niet in korte tijd kan worden verzameld.
De interne problemen van het bedrijf hebben de situatie ook verergerd: meer dan twee dozijn belangrijke leidinggevenden verlieten OpenAI in 2024, waaronder Chief Scientist Ilya Sutskever en CTO Mira Murati. Naast GPT-5 werkt het bedrijf aan andere projecten zoals o1 en Sora.
OpenAI CEO Sam Altman bevestigde dat GPT-5 niet zal verschijnen in 2024, waardoor de plannen van het bedrijf voor de ontwikkeling van kunstmatige intelligentie een flinke vertraging oplopen.
Bron: WSJ
