OpenAI sembra aver esaurito i dati di addestramento di qualità per l'addestramento GPT-5

Lo sviluppo del GPT-5 OpenAI è stato seriamente ostacolato da costi elevati e problemi tecnici, nonostante i lavori sul progetto siano in corso da oltre 18 mesi.

Ecco cosa sappiamo

In precedenza, Microsoft sperava che il nuovo modello fosse pronto per la metà del 2024, ma la scadenza non sarà rispettata.

Secondo il Wall Street Journal, ogni formazione GPT-5 costa all'azienda più di 500 milioni di dollari solo in termini di potenza di calcolo, ma il risultato non ha ancora soddisfatto le aspettative. Rispetto al GPT-4, sono stati ottenuti solo piccoli miglioramenti, che non sono sufficienti a giustificare una spesa così ingente.

Uno dei problemi principali è la mancanza di dati di alta qualità per addestrare il modello. La rete Internet pubblica non è in grado di fornire dati sufficientemente diversificati e di alta qualità per ottenere i risultati desiderati. Per risolvere questo problema, OpenAI ha invitato gli esperti a creare nuovi materiali didattici, come codici software e problemi matematici. Tuttavia, questo processo è molto lento.

Ad esempio, l'addestramento del GPT-4 ha richiesto 13 trilioni di token, un'enorme quantità di testo che non può essere raccolta in breve tempo.

Anche i problemi interni all'azienda hanno aggravato la situazione: più di due dozzine di dirigenti chiave hanno lasciato OpenAI nel 2024, tra cui lo scienziato capo Ilya Sutskever e il CTO Mira Murati. Oltre a GPT-5, l'azienda sta lavorando ad altri progetti come o1 e Sora.

L'amministratore delegato di OpenAI Sam Altman ha confermato che GPT-5 non apparirà nel 2024, il che ritarda significativamente i piani dell'azienda per lo sviluppo dell'intelligenza artificiale.

Fonte: WSJ