xAI открыла исходный код большой языковой модели Grok

Автор: Богдан Каминский, 18 марта 2024, 14:05

xAI

Компания xAI, принадлежащая Илону Маску (Elon Musk), опубликовала на GitHub исходный код своей большой языковой модели Grok-1 объемом 314 млрд параметров под открытой лицензией Apache 2.0.

Что известно

В открытый релиз вошли базовые веса модели, сетевая архитектура и другие составляющие. Как отмечается, Grok-1 не подвергалась специальной оптимизации или цензуре для конкретных задач вроде диалоговых систем.

Модель была обучена в течение четырех месяцев к октябрю 2023 года и предназначалась для генерации кода, текстов и ответов на вопросы. Открытие кода позволит сторонним исследователям и разработчикам работать с моделью.

Несмотря на открытие весов и других составляющих, Grok-1 поставляется без обучающего кода и воспроизводимых наборов данных.

Для тех, кто не в курсе

После покупки Twitter (X) Илон Маск неоднократно критиковал закрытость исходного кода ИИ-моделей конкурентов, таких как OpenAI. Теперь он судится с OpenAI, обвиняя компанию в нарушении соглашения об открытом коде.

Публикация исходников является распространенной практикой для получения обратной связи и улучшения моделей. Однако крупнейшие игроки предпочитают сохранять код закрытым или выдавать ограниченные лицензии, как в случае с Llama 2 от Meta.

После запуска чат-бота Grok на базе этой модели ранее для доступа к нему требовалась платная подписка на X. Но в предварительном тестировании он не смог выделиться на фоне ChatGPT, Gemini и других более совершенных систем.

Для тех, кто хочет знать больше:

Источник: xAI, GitHub