xAI hat den Quellcode des großen Sprachmodells Grok geöffnet
xAI
xAI, ein Unternehmen im Besitz von Elon Musk, hat auf GitHub den Quellcode seines großen Sprachmodells Grok-1 mit 314 Milliarden Parametern unter der offenen Apache 2.0 Lizenz veröffentlicht.
Was bekannt ist
Die Open-Source-Veröffentlichung umfasst die Basisgewichte des Modells, die Netzwerkarchitektur und andere Komponenten. Wie bereits erwähnt, wurde Grok-1 nicht speziell für bestimmte Aufgaben wie Dialogsysteme optimiert oder zensiert.
░W░E░I░G░H░T░S░I░N░B░I░O░
- Grok (@grok) 17. März 2024
Das Modell wurde bis Oktober 2023 über vier Monate hinweg trainiert und wurde entwickelt, um Code und Texte zu generieren und Fragen zu beantworten. Die Freigabe des Codes ermöglicht es Forschern und Entwicklern von Drittanbietern, mit dem Modell zu arbeiten.
Trotz der Entdeckung von Skalen und anderen Komponenten wird Grok-1 ohne Trainingscode und reproduzierbare Datensätze geliefert.
Die Gewichte von Grok sind unter Apache 2.0 veröffentlicht: https://t.co/9K4IfarqXK
- Sebastian Raschka (@rasbt) March 17, 2024
Es ist quelloffener als andere Modelle mit offenen Gewichten, die in der Regel mit Nutzungsbeschränkungen einhergehen.
Es ist weniger quelloffen als Pythia, Bloom und OLMo, die mit Trainingscode und reproduzierbaren Datensätzen geliefert werden. https://t.co/kxu2anrNiP pic.twitter.com/UeNew30Lzn
Für diejenigen, die nicht Bescheid wissen
Seit dem Kauf von Twitter (X) hat Ilon Musk immer wieder den geschlossenen Quellcode der KI-Modelle von Konkurrenten, wie OpenAI, kritisiert. Jetzt verklagt er OpenAI und wirft dem Unternehmen vor, seine Open-Source-Vereinbarung zu verletzen.
Die Veröffentlichung des Quellcodes ist eine gängige Praxis, um Feedback zu erhalten und Modelle zu verbessern. Die großen Akteure ziehen es jedoch vor, den Code geschlossen zu halten oder begrenzte Lizenzen zu vergeben, wie im Fall von Metas Llama 2.
Nach der Einführung des Grok-Chatbots, der auf diesem Modell basiert, war zuvor ein kostenpflichtiges X-Abonnement erforderlich, um auf ihn zuzugreifen. In ersten Tests konnte er sich jedoch nicht gegen ChatGPT, Gemini und andere fortschrittlichere Systeme durchsetzen.
