xAI har åpnet kildekoden til den store språkmodellen Grok.
xAI
xAI, et selskap eid av Elon Musk, har publisert kildekoden til sin store språkmodell Grok-1 med 314 milliarder parametere under den åpne Apache 2.0-lisensen på GitHub.
Dette er hva vi vet
Den åpne kildekoden omfatter modellens basisvekter, nettverksarkitektur og andre komponenter. Som nevnt er Grok-1 ikke spesielt optimalisert eller sensurert for spesifikke oppgaver som dialogsystemer.
Modellen ble trent opp i løpet av fire måneder frem til oktober 2023 og ble designet for å generere kode, tekster og svare på spørsmål. Ved å åpne opp koden kan tredjepartsforskere og -utviklere jobbe med modellen.
Til tross for oppdagelsen av skalaer og andre komponenter leveres Grok-1 uten treningskode og reproduserbare datasett.
Tilbakeblikk
Siden han kjøpte Twitter (X), har Ilon Musk gjentatte ganger kritisert den lukkede kildekoden til konkurrentenes AI-modeller, for eksempel OpenAI. Nå saksøker han OpenAI og anklager selskapet for å bryte avtalen om åpen kildekode.
Det er vanlig å publisere kildekoden for å få tilbakemeldinger og forbedre modellene. Store aktører foretrekker imidlertid å holde koden lukket eller gi begrensede lisenser, som i tilfellet med Metas Llama 2.
Etter lanseringen av Grok-chatboten basert på denne modellen krevde den tidligere et betalt X-abonnement for å få tilgang til den. Men i foreløpige tester klarte den ikke å hevde seg mot ChatGPT, Gemini og andre mer avanserte systemer.