Gli scienziati presentano un nuovo metodo per comprimere i modelli di intelligenza artificiale multilingue

Volodymyr Hryshchenko/Unsplash

I ricercatori della Johns Hopkins University hanno proposto un nuovo approccio all'ottimizzazione dei modelli linguistici multilingue (MLM), che consente di ridurne significativamente le dimensioni senza perdere in prestazioni.

Ecco cosa sappiamo

Gli MLM consentono di generare e analizzare testi in diverse lingue. Tuttavia, più lingue coprono, peggiore è il loro rendimento a causa della "interferenza linguistica".

A differenza dei metodi tradizionali, che prevedono lo sviluppo di una rete neurale separata per ogni lingua, i ricercatori hanno deciso di utilizzare matrici a basso rango. Queste permettono di comprimere i dati e di ridurre il numero di parametri necessari per aggiungere nuove lingue al modello.

Secondo Haoran Xu, uno degli autori, funziona come una tavolozza di colori limitata per un artista. Non è necessario dare a ogni bambino della classe il proprio set di colori, è sufficiente una tavolozza comune di tre colori. Questo riduce notevolmente la necessità di parametrizzare il modello.

Gli autori hanno testato il loro metodo in 95 lingue. Il modello ha mostrato risultati eccellenti pur utilizzando un numero molto inferiore di parametri. Secondo i ricercatori, questo apre la strada alla creazione di MLM compatti ed efficienti.

Secondo gli scienziati, col tempo ci saranno applicazioni di intelligenza artificiale mobile in grado di funzionare ugualmente bene in centinaia di lingue. Il loro obiettivo finale è quello di applicare il nuovo metodo per comprimere MLM di grandi dimensioni senza danneggiarne le prestazioni.

Fonte: TechXplore