OpenAI ser ut til å ha gått tom for kvalitetsdata for GPT-5-trening

Utviklingen av GPT-5 OpenAI har blitt alvorlig hindret av høye kostnader og tekniske problemer, selv om arbeidet med prosjektet har pågått i mer enn 18 måneder.

Her er hva vi vet

Tidligere håpet Microsoft at den nye modellen ville være klar innen midten av 2024, men fristen vil ikke bli overholdt.

I følge The Wall Street Journal koster hver GPT-5-trening selskapet mer enn 500 millioner dollar i datakraft alene, men resultatet har ennå ikke oppfylt forventningene. Sammenlignet med GPT-4 er det bare oppnådd mindre forbedringer, og de er ikke nok til å rettferdiggjøre en så stor utgift.

Et av hovedproblemene er mangelen på data av høy kvalitet til å trene modellen. Det offentlige Internett kan ikke tilby nok data av høy kvalitet til å oppnå de ønskede resultatene. For å løse dette problemet har OpenAI invitert eksperter til å lage nytt opplæringsmateriell, for eksempel programvarekode og matematiske problemer. Denne prosessen er imidlertid svært langsom.

For eksempel krevde GPT-4-treningen 13 billioner tokens, noe som er en enorm mengde tekst som ikke kan samles inn på kort tid.

Selskapets interne problemer har også forverret situasjonen: mer enn to dusin sentrale ledere forlot OpenAI i 2024, inkludert Chief Scientist Ilya Sutskever og CTO Mira Murati. I tillegg til GPT-5 jobber selskapet med andre prosjekter som o1 og Sora.

OpenAIs administrerende direktør Sam Altman bekreftet at GPT-5 ikke vil vises i 2024, noe som forsinker selskapets planer for utvikling av kunstig intelligens betydelig.

Kilde: WSJ WSJ