SpaceX пише власний «софт» для ШІ на C: Маск обіцяє швидкість у 10 разів вищу за JAX

Автор: Павло Дорошенко | сьогодні, 10:18

Поки індустрія штучного інтелекту розслаблено обгортає складні обчислення у зручні, але повільні прошарки Python, команда Ілона Маска (Elon Musk) у SpaceX вирішила, що настав час повернутися до витоків. Компанія практично завершила розробку версії 1.0 власної системи навчання ШІ, написаної на мові C. Це не просто спроба виділитися, а прагнення витиснути максимум із кремнію, працюючи максимально близько до «заліза» серверів.

Вибір мови C для такої задачі виглядає як виклик сучасному мейнстриму. Більшість розробників використовують готові бібліотеки, які додають комфорту, але неминуче «з'їдають» частину продуктивності через зайві рівні абстракції. SpaceX пішла іншим шляхом: їхня низькорівнева технологія напряму взаємодіє з обладнанням, мінімізуючи затримки та оптимізуючи паралельні обчислення. У світі, де кожна мілісекунда навчання коштує тисячі доларів, такий підхід виглядає цілком раціональним, хоч і складним у реалізації.

Залізна міць на 220 тисяч прискорювачів

Нова архітектура створюється не для абстрактних серверів, а для конкретного монструозного кластера. Йдеться про інфраструктуру, що об'єднує близько 220.000 прискорювачів Nvidia GB300. Для розуміння масштабів: це обчислювальна потужність, яка здатна «переварити» неймовірні обсяги даних, якщо софт не стане вузьким місцем. Щоб дані не «застрягали» в дорозі, використовуються мережеві інтерфейси 800G, які забезпечують блискавичний обмін інформацією між вузлами кластера.

Маск стверджує, що система проєктується так, аби між кодом та апаратною частиною практично не було посередників. Це дозволяє використовувати можливості графічних процесорів Nvidia на повну потужність. У великих навчальних запусках, де задіяні тисячі взаємопов'язаних чипів, такий прямий доступ до ресурсів має забезпечити колосальний приріст ефективності.

Маск проти Google: 10-кратна перевага над JAX

Найбільш гучною заявою стало порівняння з існуючими рішеннями. За словами Маска, нова реалізація потенційно може виявитися більш ніж у 10 разів швидшою за JAX — популярний фреймворк для машинного навчання від Google, який вважається одним із найшвидших у галузі. JAX відомий своєю здатністю до автоматичного диференціювання та високою продуктивністю на GPU/TPU, але навіть він, на думку команди SpaceX, має забагато «зайвого» порівняно з чистим кодом на C.

Звісно, до таких цифр варто ставитися з часткою здорового скептицизму, поки не з'являться реальні бенчмарки. Проте історія SpaceX показує, що вони люблять переписувати правила гри там, де стандартні методи стають занадто дорогими або повільними. Якщо нова система дійсно покаже десятикратний приріст, це може змусити інших гравців ринку переглянути свої підходи до стека технологій навчання великих мовних моделей.

Поки SpaceX вдосконалює свої обчислювальні потужності, інші гіганти теж не стоять на місці. Наприклад, YouTube почав самостійно перевіряти відео на наявність контенту, створеного нейромережами, що ще раз підкреслює тотальне проникнення ШІ в усі сфери цифрового життя.