xAI ha abierto el código fuente del gran modelo lingüístico Grok
xAI
xAI, empresa propiedad de Elon Musk, ha publicado en GitHub el código fuente de su gran modelo de lenguaje Grok-1 con 314.000 millones de parámetros bajo licencia abierta Apache 2.0.
Esto es lo que sabemos
La publicación de código abierto incluye los pesos base del modelo, la arquitectura de red y otros componentes. Como se ha señalado, Grok-1 no se ha optimizado ni censurado especialmente para tareas específicas como los sistemas de diálogo.
░W░E░I░G░H░T░S░I░N░B░I░O░
- Grok (@grok) 17 de marzo de 2024
El modelo se entrenó durante cuatro meses hasta octubre de 2023 y se diseñó para generar código, textos y responder preguntas. La apertura del código permitirá a terceros investigadores y desarrolladores trabajar con el modelo.
A pesar del descubrimiento de escalas y otros componentes, Grok-1 viene sin código de entrenamiento ni conjuntos de datos reproducibles.
Las ponderaciones de Grok están bajo Apache 2.0: https://t.co/9K4IfarqXK
- Sebastian Raschka (@rasbt) 17 de marzo de 2024
Es más de código abierto que otros modelos de ponderaciones abiertas, que suelen venir con restricciones de uso.
Es menos de código abierto que Pythia, Bloom y OLMo, que vienen con código de entrenamiento y conjuntos de datos reproducibles. https://t.co/kxu2anrNiP pic.twitter.com/UeNew30Lzn
Flashback
Desde que compró Twitter (X), Ilon Musk ha criticado repetidamente el código fuente cerrado de los modelos de IA de la competencia, como OpenAI. Ahora ha demandado a OpenAI, acusando a la empresa de violar su acuerdo de código abierto.
Publicar el código fuente es una práctica habitual para obtener comentarios y mejorar los modelos. Sin embargo, los grandes prefieren mantener el código cerrado o conceder licencias limitadas, como en el caso de Llama 2, de Meta.
Tras lanzar el chatbot Grok basado en este modelo, antes exigía una suscripción X de pago para acceder a él. Pero en las pruebas preliminares, no consiguió destacar frente a ChatGPT, Gemini y otros sistemas más avanzados.
