xAI a ouvert le code source du grand modèle linguistique Grok
xAI
xAI, une entreprise appartenant à Elon Musk, a publié sur GitHub le code source de son grand modèle de langage Grok-1 avec 314 milliards de paramètres sous la licence ouverte Apache 2.0.
Voici ce que nous savons
La version open source comprend les poids de base du modèle, l'architecture du réseau et d'autres composants. Comme indiqué, Grok-1 n'a pas été spécialement optimisé ou censuré pour des tâches spécifiques telles que les systèmes de dialogue.
Le modèle a été entraîné pendant quatre mois jusqu'en octobre 2023 et a été conçu pour générer du code, des textes et répondre à des questions. L'ouverture du code permettra aux chercheurs et développeurs tiers de travailler avec le modèle.
Malgré la découverte d'échelles et d'autres composants, Grok-1 est livré sans code d'entraînement ni ensembles de données reproductibles.
Flashback
Depuis qu'il a racheté Twitter (X), Ilon Musk a critiqué à plusieurs reprises le code source fermé des modèles d'IA de ses concurrents, comme OpenAI. Aujourd'hui, il poursuit OpenAI en justice, l'accusant d'avoir violé son accord d'open source.
La publication du code source est une pratique courante pour obtenir des informations en retour et améliorer les modèles. Toutefois, les principaux acteurs préfèrent garder le code fermé ou accorder des licences limitées, comme dans le cas du Llama 2 de Meta.
Après avoir lancé le chatbot Grok basé sur ce modèle, il fallait auparavant un abonnement X payant pour y accéder. Mais lors de tests préliminaires, il n'a pas réussi à s'imposer face à ChatGPT, Gemini et d'autres systèmes plus avancés.