xAI har åpnet kildekoden til den store språkmodellen Grok.

Av: Bohdan Kaminskyi | 18.03.2024, 14:05

xAI

xAI, et selskap eid av Elon Musk, har publisert kildekoden til sin store språkmodell Grok-1 med 314 milliarder parametere under den åpne Apache 2.0-lisensen på GitHub.

Dette er hva vi vet

Den åpne kildekoden omfatter modellens basisvekter, nettverksarkitektur og andre komponenter. Som nevnt er Grok-1 ikke spesielt optimalisert eller sensurert for spesifikke oppgaver som dialogsystemer.

Modellen ble trent opp i løpet av fire måneder frem til oktober 2023 og ble designet for å generere kode, tekster og svare på spørsmål. Ved å åpne opp koden kan tredjepartsforskere og -utviklere jobbe med modellen.

Til tross for oppdagelsen av skalaer og andre komponenter leveres Grok-1 uten treningskode og reproduserbare datasett.

Tilbakeblikk

Siden han kjøpte Twitter (X), har Ilon Musk gjentatte ganger kritisert den lukkede kildekoden til konkurrentenes AI-modeller, for eksempel OpenAI. Nå saksøker han OpenAI og anklager selskapet for å bryte avtalen om åpen kildekode.

Det er vanlig å publisere kildekoden for å få tilbakemeldinger og forbedre modellene. Store aktører foretrekker imidlertid å holde koden lukket eller gi begrensede lisenser, som i tilfellet med Metas Llama 2.

Etter lanseringen av Grok-chatboten basert på denne modellen krevde den tidligere et betalt X-abonnement for å få tilgang til den. Men i foreløpige tester klarte den ikke å hevde seg mot ChatGPT, Gemini og andre mer avanserte systemer.

Gå dypere:

Kilde: xAI, GitHub