xAI ha aperto il codice sorgente del modello linguistico Grok large
xAI
xAI, una società di proprietà di Elon Musk, ha pubblicato su GitHub il codice sorgente del suo grande modello linguistico Grok-1, con 314 miliardi di parametri, con licenza aperta Apache 2.0.
Ecco cosa sappiamo
Il rilascio open source include i pesi di base del modello, l'architettura di rete e altri componenti. Come si è detto, Grok-1 non è stato appositamente ottimizzato o censito per compiti specifici come i sistemi di dialogo.
░W░E░I░G░H░T░S░I░N░B░I░O░
- Grok (@grok) 17 marzo 2024
Il modello è stato addestrato per quattro mesi entro ottobre 2023 ed è stato progettato per generare codice, testi e rispondere a domande. L'apertura del codice consentirà a ricercatori e sviluppatori terzi di lavorare con il modello.
Nonostante la scoperta di scale e altri componenti, Grok-1 è privo di codice di addestramento e di set di dati riproducibili.
I pesi di Grok sono disponibili sotto Apache 2.0: https://t.co/9K4IfarqXK
- Sebastian Raschka (@rasbt) 17 marzo 2024
È più open source di altri modelli di pesi aperti, che di solito sono soggetti a restrizioni d'uso.
È meno open source di Pythia, Bloom e OLMo, che sono dotati di codice di addestramento e set di dati riproducibili. https://t.co/kxu2anrNiP pic.twitter.com/UeNew30Lzn
Ritorno di fiamma
Da quando ha acquistato Twitter (X), Ilon Musk ha ripetutamente criticato il codice sorgente chiuso dei modelli di intelligenza artificiale della concorrenza, come OpenAI. Ora sta facendo causa a OpenAI, accusando l'azienda di aver violato il suo accordo di open source.
La pubblicazione del codice sorgente è una pratica comune per ottenere feedback e migliorare i modelli. Tuttavia, i principali operatori preferiscono mantenere il codice chiuso o concedere licenze limitate, come nel caso di Llama 2 di Meta.
Dopo aver lanciato il chatbot Grok basato su questo modello, in precedenza richiedeva un abbonamento X a pagamento per accedervi. Ma nei test preliminari non è riuscito a distinguersi da ChatGPT, Gemini e altri sistemi più avanzati.
