У OpenAI, похоже, закончились качественные учебные данные для обучения GPT-5

GPT-5 от OpenAI: почему разработка задерживается?. Источник: Gizmochina

Разработка GPT-5 OpenAI испытала серьезные трудности из-за больших затрат и технических проблем, хотя работа над проектом продолжается уже более 18 месяцев.

Что известно

Ранее Microsoft надеялась, что новая модель будет готова к середине 2024 года, но в сроки не удастся уложиться.

По данным The Wall Street Journal, каждое обучение GPT-5 обходится компании в более 500 миллионов долларов только на вычислительную мощность, но результат до сих пор не оправдал ожиданий. По сравнению с GPT-4 удалось достичь лишь незначительных улучшений, и их недостаточно, чтобы оправдать такие огромные затраты.

Одной из основных проблем является нехватка высококачественных данных для обучения модели. Публичный интернет не может предоставить достаточно разнообразных и качественных данных, необходимых для достижения желаемых результатов. Для решения этой проблемы OpenAI пригласила экспертов для создания новых учебных материалов, таких как программный код и математические задачи. Однако этот процесс идет очень медленно.

Например, для обучения GPT-4 потребовалось 13 триллионов токенов - это огромное количество текста, которое невозможно собрать за короткое время.

Также внутренние проблемы в компании обострили ситуацию: более двух десятков ключевых руководителей покинули OpenAI в 2024 году, среди них главный ученый Илья Сутскевер и технический директор Мира Мурати. Кроме GPT-5, компания работает над другими проектами, такими как "o1" и "Sora".

Генеральный директор OpenAI Сэм Альтман подтвердил, что GPT-5 не появится в 2024 году, а это существенно отдаляет планы компании по развитию искусственного интеллекта.

Источник: WSJ