xAI hat den Quellcode des großen Sprachmodells Grok geöffnet
xAI
xAI, ein Unternehmen im Besitz von Elon Musk, hat auf GitHub den Quellcode seines großen Sprachmodells Grok-1 mit 314 Milliarden Parametern unter der offenen Apache 2.0 Lizenz veröffentlicht.
Was bekannt ist
Die Open-Source-Veröffentlichung umfasst die Basisgewichte des Modells, die Netzwerkarchitektur und andere Komponenten. Wie bereits erwähnt, wurde Grok-1 nicht speziell für bestimmte Aufgaben wie Dialogsysteme optimiert oder zensiert.
Das Modell wurde bis Oktober 2023 über vier Monate hinweg trainiert und wurde entwickelt, um Code und Texte zu generieren und Fragen zu beantworten. Die Freigabe des Codes ermöglicht es Forschern und Entwicklern von Drittanbietern, mit dem Modell zu arbeiten.
Trotz der Entdeckung von Skalen und anderen Komponenten wird Grok-1 ohne Trainingscode und reproduzierbare Datensätze geliefert.
Für diejenigen, die nicht Bescheid wissen
Seit dem Kauf von Twitter (X) hat Ilon Musk immer wieder den geschlossenen Quellcode der KI-Modelle von Konkurrenten, wie OpenAI, kritisiert. Jetzt verklagt er OpenAI und wirft dem Unternehmen vor, seine Open-Source-Vereinbarung zu verletzen.
Die Veröffentlichung des Quellcodes ist eine gängige Praxis, um Feedback zu erhalten und Modelle zu verbessern. Die großen Akteure ziehen es jedoch vor, den Code geschlossen zu halten oder begrenzte Lizenzen zu vergeben, wie im Fall von Metas Llama 2.
Nach der Einführung des Grok-Chatbots, der auf diesem Modell basiert, war zuvor ein kostenpflichtiges X-Abonnement erforderlich, um auf ihn zuzugreifen. In ersten Tests konnte er sich jedoch nicht gegen ChatGPT, Gemini und andere fortschrittlichere Systeme durchsetzen.