xAI відкрила вихідний код великої мовної моделі Grok
xAI
Компанія xAI, що належить Ілону Маску (Elon Musk), опублікувала на GitHub вихідний код своєї великої мовної моделі Grok-1 обсягом 314 млрд параметрів під відкритою ліцензією Apache 2.0.
Що відомо
У відкритий реліз увійшли базові ваги моделі, мережева архітектура та інші складові. Як зазначається, Grok-1 не зазнавала спеціальної оптимізації або цензури для конкретних завдань на кшталт діалогових систем.
Модель була навчена протягом чотирьох місяців до жовтня 2023 року і призначалася для генерації коду, текстів і відповідей на запитання. Відкриття коду дасть змогу стороннім дослідникам і розробникам працювати з моделлю.
Незважаючи на відкриття ваг та інших складових, Grok-1 поставляється без навчального коду і відтворюваних наборів даних.
Для тих, хто не в курсі
Після купівлі Twitter (X) Ілон Маск неодноразово критикував закритість вихідного коду ШІ-моделей конкурентів, таких як OpenAI. Тепер він судиться з OpenAI, звинувачуючи компанію в порушенні угоди про відкритий код.
Публікація вихідних кодів є поширеною практикою для отримання зворотного зв'язку і поліпшення моделей. Однак найбільші гравці вважають за краще зберігати код закритим або видавати обмежені ліцензії, як у випадку з Llama 2 від Meta.
Після запуску чат-бота Grok на базі цієї моделі раніше для доступу до нього була потрібна платна передплата на X. Але в попередньому тестуванні він не зміг виділитися на тлі ChatGPT, Gemini та інших досконаліших систем.