OpenAI parece haberse quedado sin datos de entrenamiento de calidad para el entrenamiento GPT-5

El desarrollo de la GPT-5 OpenAI se ha visto seriamente obstaculizado por los elevados costes y los problemas técnicos, aunque se lleva trabajando en el proyecto más de 18 meses.

Esto es lo que sabemos

Anteriormente, Microsoft esperaba que el nuevo modelo estuviera listo para mediados de 2024, pero el plazo no se cumplirá.

Según The Wall Street Journal, cada entrenamiento de GPT-5 cuesta a la compañía más de 500 millones de dólares sólo en potencia de cálculo, pero el resultado aún no ha cumplido las expectativas. En comparación con el GPT-4, sólo se han conseguido mejoras menores, y no son suficientes para justificar un gasto tan enorme.

Uno de los principales problemas es la falta de datos de alta calidad para entrenar el modelo. La Internet pública no puede proporcionar suficientes datos diversos y de alta calidad para lograr los resultados deseados. Para resolver este problema, OpenAI ha invitado a expertos a crear nuevos materiales de entrenamiento, como código de software y problemas matemáticos. Sin embargo, este proceso es muy lento.

Por ejemplo, el entrenamiento de GPT-4 requirió 13 billones de tokens, lo que supone una enorme cantidad de texto que no se puede recopilar en poco tiempo.

Los problemas internos de la empresa también han agravado la situación: más de dos docenas de ejecutivos clave abandonaron OpenAI en 2024, entre ellos el científico jefe Ilya Sutskever y la CTO Mira Murati. Además de GPT-5, la empresa está trabajando en otros proyectos como o1 y Sora.

El CEO de OpenAI, Sam Altman, confirmó que GPT-5 no aparecerá en 2024, lo que retrasa significativamente los planes de la empresa para el desarrollo de la inteligencia artificial.

Fuente: WSJ