SpaceX пишет собственный «софт» для ИИ на C: Маск обещает скорость в 10 раз выше, чем у JAX

Автор: Павел Дорошенко, сегодня, 10:18

Пока индустрия искусственного интеллекта расслабленно оборачивает сложные вычисления в удобные, но медленные слои Python, команда Илона Маска (Elon Musk) в SpaceX решила, что пришло время вернуться к истокам. Компания практически завершила разработку версии 1.0 собственной системы обучения ИИ, написанной на языке C. Это не просто попытка выделиться, а стремление выжать максимум из кремния, работая максимально близко к «железу» серверов.

Выбор языка C для такой задачи выглядит как вызов современному мейнстриму. Большинство разработчиков используют готовые библиотеки, которые добавляют комфорта, но неизбежно «съедают» часть производительности из-за лишних уровней абстракции. SpaceX пошла другим путем: их низкоуровневая технология напрямую взаимодействует с оборудованием, минимизируя задержки и оптимизируя параллельные вычисления. В мире, где каждая миллисекунда обучения стоит тысячи долларов, такой подход выглядит вполне рациональным, хоть и сложным в реализации.

Железная мощь на 220 тысяч ускорителей

Новая архитектура создается не для абстрактных серверов, а для конкретного монструозного кластера. Речь идет об инфраструктуре, объединяющей около 220.000 ускорителей Nvidia GB300. Для понимания масштабов: это вычислительная мощность, способная «переварить» невероятные объемы данных, если софт не станет узким местом. Чтобы данные не «застревали» на пути, используются сетевые интерфейсы 800G, которые обеспечивают молниеносный обмен информацией между узлами кластера.

Маск утверждает, что система проектируется так, чтобы между кодом и аппаратной частью практически не было посредников. Это позволяет использовать возможности графических процессоров Nvidia на полную мощность. В больших обучающих запусках, где задействованы тысячи взаимосвязанных чипов, такой прямой доступ к ресурсам должен обеспечить колоссальный прирост эффективности.

Маск против Google: 10-кратное преимущество над JAX

Наиболее громким заявлением стало сравнение с существующими решениями. По словам Маска, новая реализация потенциально может оказаться более чем в 10 раз быстрее, чем JAX — популярный фреймворк для машинного обучения от Google, который считается одним из самых быстрых в отрасли. JAX известен своей способностью к автоматическому дифференцированию и высокой производительностью на GPU/TPU, но даже он, по мнению команды SpaceX, имеет слишком много «лишнего» по сравнению с чистым кодом на C.

Конечно, к таким цифрам стоит относиться с долей здорового скептицизма, пока не появятся реальные бенчмарки. Однако история SpaceX показывает, что они любят переписывать правила игры там, где стандартные методы становятся слишком дорогими или медленными. Если новая система действительно покажет десятикратный прирост, это может заставить других игроков рынка пересмотреть свои подходы к стеку технологий обучения крупных языковых моделей.

Пока SpaceX совершенствует свои вычислительные мощности, другие гиганты тоже не стоят на месте. Например, YouTube начал самостоятельно проверять видео на наличие контента, созданного нейросетями, что еще раз подчеркивает тотальное проникновение ИИ во все сферы цифровой жизни.

Искусственный интеллект

Другие материалы по теме: