xAI heeft de broncode van het Grok grote taalmodel geopend
xAI
xAI, een bedrijf dat eigendom is van Elon Musk, heeft op GitHub de broncode gepubliceerd van zijn grote taalmodel Grok-1 met 314 miljard parameters onder de open Apache 2.0-licentie.
Dit is wat we weten
De open source release bevat de basisgewichten van het model, de netwerkarchitectuur en andere componenten. Zoals opgemerkt is Grok-1 niet speciaal geoptimaliseerd of gecensureerd voor specifieke taken zoals dialoogsystemen.
░W░E░I░G░H░T░S░I░N░B░I░O░
- Grok (@grok) 17 maart 2024
Het model is in oktober 2023 gedurende vier maanden getraind en is ontworpen om code en teksten te genereren en vragen te beantwoorden. Door de code open te stellen, kunnen onderzoekers en ontwikkelaars van derden met het model werken.
Ondanks de ontdekking van schalen en andere componenten, wordt Grok-1 geleverd zonder trainingscode en reproduceerbare datasets.
Grok-gewichten zijn uit onder Apache 2.0: https://t.co/9K4IfarqXK
- Sebastian Raschka (@rasbt) 17 maart 2024
Het is meer open source dan andere modellen met open gewichten, die meestal worden geleverd met gebruiksbeperkingen.
Het is minder open source dan Pythia, Bloom en OLMo, die worden geleverd met trainingscode en reproduceerbare datasets. https://t.co/kxu2anrNiP pic.twitter.com/UeNew30Lzn
Flashback
Sinds hij Twitter (X) heeft gekocht, heeft Ilon Musk herhaaldelijk kritiek geuit op de gesloten broncode van AI-modellen van concurrenten, zoals OpenAI. Nu klaagt hij OpenAI aan en beschuldigt het bedrijf van het schenden van zijn open source overeenkomst.
Het publiceren van broncode is een gebruikelijke praktijk om feedback te krijgen en modellen te verbeteren. Grote spelers houden de code echter liever gesloten of verlenen beperkte licenties, zoals in het geval van Llama 2 van Meta.
Na de lancering van de Grok chatbot op basis van dit model, was voorheen een betaald X-abonnement nodig om toegang te krijgen. Maar in voorafgaande tests slaagde het er niet in om het op te nemen tegen ChatGPT, Gemini en andere meer geavanceerde systemen.
