xAI heeft de broncode van het Grok grote taalmodel geopend
xAI
xAI, een bedrijf dat eigendom is van Elon Musk, heeft op GitHub de broncode gepubliceerd van zijn grote taalmodel Grok-1 met 314 miljard parameters onder de open Apache 2.0-licentie.
Dit is wat we weten
De open source release bevat de basisgewichten van het model, de netwerkarchitectuur en andere componenten. Zoals opgemerkt is Grok-1 niet speciaal geoptimaliseerd of gecensureerd voor specifieke taken zoals dialoogsystemen.
Het model is in oktober 2023 gedurende vier maanden getraind en is ontworpen om code en teksten te genereren en vragen te beantwoorden. Door de code open te stellen, kunnen onderzoekers en ontwikkelaars van derden met het model werken.
Ondanks de ontdekking van schalen en andere componenten, wordt Grok-1 geleverd zonder trainingscode en reproduceerbare datasets.
Flashback
Sinds hij Twitter (X) heeft gekocht, heeft Ilon Musk herhaaldelijk kritiek geuit op de gesloten broncode van AI-modellen van concurrenten, zoals OpenAI. Nu klaagt hij OpenAI aan en beschuldigt het bedrijf van het schenden van zijn open source overeenkomst.
Het publiceren van broncode is een gebruikelijke praktijk om feedback te krijgen en modellen te verbeteren. Grote spelers houden de code echter liever gesloten of verlenen beperkte licenties, zoals in het geval van Llama 2 van Meta.
Na de lancering van de Grok chatbot op basis van dit model, was voorheen een betaald X-abonnement nodig om toegang te krijgen. Maar in voorafgaande tests slaagde het er niet in om het op te nemen tegen ChatGPT, Gemini en andere meer geavanceerde systemen.