У OpenAI, схоже, закінчилися якісні навчальні дані для навчання GPT-5

Розробка GPT-5 OpenAI зазнала серйозних труднощів через великі витрати та технічні проблеми, хоча робота над проєктом триває вже понад 18 місяців.
Що відомо
Раніше Microsoft сподівалася, що нова модель буде готова до середини 2024 року, але в терміни не вдасться вкластися.
За даними The Wall Street Journal, кожне навчання GPT-5 обходиться компанії в понад 500 мільйонів доларів лише на обчислювальну потужність, але результат досі не виправдав очікувань. Порівняно з GPT-4 вдалося досягти лише незначних покращень, і їх недостатньо, щоб виправдати такі величезні витрати.
Однією з основних проблем є нестача високоякісних даних для навчання моделі. Публічний інтернет не може надати достатньо різноманітних та якісних даних, необхідних для досягнення бажаних результатів. Для вирішення цієї проблеми OpenAI запросила експертів для створення нових навчальних матеріалів, таких як програмний код та математичні задачі. Однак цей процес триває дуже повільно.
Наприклад, для навчання GPT-4 було потрібно 13 трильйонів токенів — це величезна кількість тексту, яку неможливо зібрати за короткий час.
Також внутрішні проблеми у компанії загострили ситуацію: понад два десятки ключових керівників покинули OpenAI у 2024 році, серед них головний науковець Ілля Сутскевер та технічний директор Міра Мураті. Окрім GPT-5, компанія працює над іншими проєктами, такими як "o1" і "Sora".
Генеральний директор OpenAI Сем Альтман підтвердив, що GPT-5 не з’явиться у 2024 році, а це суттєво віддаляє плани компанії щодо розвитку штучного інтелекту.
Джерело: WSJ