xAI відкрила вихідний код великої мовної моделі Grok
xAI
Компанія xAI, що належить Ілону Маску (Elon Musk), опублікувала на GitHub вихідний код своєї великої мовної моделі Grok-1 обсягом 314 млрд параметрів під відкритою ліцензією Apache 2.0.
Що відомо
У відкритий реліз увійшли базові ваги моделі, мережева архітектура та інші складові. Як зазначається, Grok-1 не зазнавала спеціальної оптимізації або цензури для конкретних завдань на кшталт діалогових систем.
░W░E░I░I░G░H░T░S░I░N░B░I░O░
- Grok (@grok) March 17, 2024
Модель була навчена протягом чотирьох місяців до жовтня 2023 року і призначалася для генерації коду, текстів і відповідей на запитання. Відкриття коду дасть змогу стороннім дослідникам і розробникам працювати з моделлю.
Незважаючи на відкриття ваг та інших складових, Grok-1 поставляється без навчального коду і відтворюваних наборів даних.
Grok weights are out under Apache 2.0: https://t.co/9K4IfarqXK
- Sebastian Raschka (@rasbt) March 17, 2024
It's more open source than other open weights models, which usually come with usage restrictions.
It's less open source than Pythia, Bloom, and OLMo, which come with training code and reproducible datasets. Вона менш open source than Pythia, Bloom і OLMo, які поставляються з навчальним кодом і відтворюваними наборами даних. https://t.co/kxu2anrNiP pic.twitter.com/UeNew30Lzn
Для тих, хто не в курсі
Після купівлі Twitter (X) Ілон Маск неодноразово критикував закритість вихідного коду ШІ-моделей конкурентів, таких як OpenAI. Тепер він судиться з OpenAI, звинувачуючи компанію в порушенні угоди про відкритий код.
Публікація вихідних кодів є поширеною практикою для отримання зворотного зв'язку і поліпшення моделей. Однак найбільші гравці вважають за краще зберігати код закритим або видавати обмежені ліцензії, як у випадку з Llama 2 від Meta.
Після запуску чат-бота Grok на базі цієї моделі раніше для доступу до нього була потрібна платна передплата на X. Але в попередньому тестуванні він не зміг виділитися на тлі ChatGPT, Gemini та інших досконаліших систем.
