xAI har åpnet kildekoden til den store språkmodellen Grok.
xAI
xAI, et selskap eid av Elon Musk, har publisert kildekoden til sin store språkmodell Grok-1 med 314 milliarder parametere under den åpne Apache 2.0-lisensen på GitHub.
Dette er hva vi vet
Den åpne kildekoden omfatter modellens basisvekter, nettverksarkitektur og andre komponenter. Som nevnt er Grok-1 ikke spesielt optimalisert eller sensurert for spesifikke oppgaver som dialogsystemer.
░W░E░I░G░H░T░S░I░N░B░I░O░
- Grok (@grok) 17. mars 2024
Modellen ble trent opp i løpet av fire måneder frem til oktober 2023 og ble designet for å generere kode, tekster og svare på spørsmål. Ved å åpne opp koden kan tredjepartsforskere og -utviklere jobbe med modellen.
Til tross for oppdagelsen av skalaer og andre komponenter leveres Grok-1 uten treningskode og reproduserbare datasett.
Grok-vektene er lagt ut under Apache 2.0: https://t.co/9K4IfarqXK
- Sebastian Raschka (@rasbt) 17. mars 2024
Det er mer åpen kildekode enn andre åpne vektmodeller, som vanligvis kommer med bruksbegrensninger.
Det er mindre åpen kildekode enn Pythia, Bloom og OLMo, som kommer med treningskode og reproduserbare datasett. https://t.co/kxu2anrNiP pic.twitter.com/UeNew30Lzn
Tilbakeblikk
Siden han kjøpte Twitter (X), har Ilon Musk gjentatte ganger kritisert den lukkede kildekoden til konkurrentenes AI-modeller, for eksempel OpenAI. Nå saksøker han OpenAI og anklager selskapet for å bryte avtalen om åpen kildekode.
Det er vanlig å publisere kildekoden for å få tilbakemeldinger og forbedre modellene. Store aktører foretrekker imidlertid å holde koden lukket eller gi begrensede lisenser, som i tilfellet med Metas Llama 2.
Etter lanseringen av Grok-chatboten basert på denne modellen krevde den tidligere et betalt X-abonnement for å få tilgang til den. Men i foreløpige tester klarte den ikke å hevde seg mot ChatGPT, Gemini og andre mer avanserte systemer.
