xAI відкрила вихідний код великої мовної моделі Grok

Автор: Богдан Камінський | 18 березня 2024, 14:05

xAI

Компанія xAI, що належить Ілону Маску (Elon Musk), опублікувала на GitHub вихідний код своєї великої мовної моделі Grok-1 обсягом 314 млрд параметрів під відкритою ліцензією Apache 2.0.

Що відомо

У відкритий реліз увійшли базові ваги моделі, мережева архітектура та інші складові. Як зазначається, Grok-1 не зазнавала спеціальної оптимізації або цензури для конкретних завдань на кшталт діалогових систем.

Модель була навчена протягом чотирьох місяців до жовтня 2023 року і призначалася для генерації коду, текстів і відповідей на запитання. Відкриття коду дасть змогу стороннім дослідникам і розробникам працювати з моделлю.

Незважаючи на відкриття ваг та інших складових, Grok-1 поставляється без навчального коду і відтворюваних наборів даних.

Для тих, хто не в курсі

Після купівлі Twitter (X) Ілон Маск неодноразово критикував закритість вихідного коду ШІ-моделей конкурентів, таких як OpenAI. Тепер він судиться з OpenAI, звинувачуючи компанію в порушенні угоди про відкритий код.

Публікація вихідних кодів є поширеною практикою для отримання зворотного зв'язку і поліпшення моделей. Однак найбільші гравці вважають за краще зберігати код закритим або видавати обмежені ліцензії, як у випадку з Llama 2 від Meta.

Після запуску чат-бота Grok на базі цієї моделі раніше для доступу до нього була потрібна платна передплата на X. Але в попередньому тестуванні він не зміг виділитися на тлі ChatGPT, Gemini та інших досконаліших систем.

Для тих, хто хоче знати більше:

Джерело: xAI, GitHub