xAI открыла исходный код большой языковой модели Grok
xAI
Компания xAI, принадлежащая Илону Маску (Elon Musk), опубликовала на GitHub исходный код своей большой языковой модели Grok-1 объемом 314 млрд параметров под открытой лицензией Apache 2.0.
Что известно
В открытый релиз вошли базовые веса модели, сетевая архитектура и другие составляющие. Как отмечается, Grok-1 не подвергалась специальной оптимизации или цензуре для конкретных задач вроде диалоговых систем.
Модель была обучена в течение четырех месяцев к октябрю 2023 года и предназначалась для генерации кода, текстов и ответов на вопросы. Открытие кода позволит сторонним исследователям и разработчикам работать с моделью.
Несмотря на открытие весов и других составляющих, Grok-1 поставляется без обучающего кода и воспроизводимых наборов данных.
Для тех, кто не в курсе
После покупки Twitter (X) Илон Маск неоднократно критиковал закрытость исходного кода ИИ-моделей конкурентов, таких как OpenAI. Теперь он судится с OpenAI, обвиняя компанию в нарушении соглашения об открытом коде.
Публикация исходников является распространенной практикой для получения обратной связи и улучшения моделей. Однако крупнейшие игроки предпочитают сохранять код закрытым или выдавать ограниченные лицензии, как в случае с Llama 2 от Meta.
После запуска чат-бота Grok на базе этой модели ранее для доступа к нему требовалась платная подписка на X. Но в предварительном тестировании он не смог выделиться на фоне ChatGPT, Gemini и других более совершенных систем.