Forskere presenterer en ny metode for komprimering av flerspråklige AI-modeller

Volodymyr Hryshchenko/Unsplash

Forskere fra Johns Hopkins University har foreslått en ny metode for å optimalisere flerspråklige språkmodeller (MLM), som gjør det mulig å redusere størrelsen på dem betydelig uten å miste ytelse.

Dette er hva vi vet

MLM-er gjør det mulig å generere og analysere tekster på ulike språk. Men jo flere språk de dekker, jo dårligere ytelse får de på grunn av "språkforstyrrelser".

I motsetning til tradisjonelle metoder, der man utvikler et eget nevralt nettverk for hvert språk, valgte forskerne å bruke matriser med lav rang. De gjør det mulig å komprimere dataene og redusere antall parametere som trengs for å legge til nye språk i modellen.

Ifølge Haoran Xu, en av forfatterne, fungerer det som en begrenset fargepalett for en kunstner. Det er ikke nødvendig å gi hvert barn i klassen sitt eget sett med maling, det holder med en felles palett med tre farger. Dette reduserer i stor grad behovet for parametere når modellen skal skaleres.

Forfatterne testet metoden på 95 språk. Modellen viste gode resultater med langt færre parametere. Dette baner vei for utvikling av kompakte og effektive MLM-er, mener forskerne.

Ifølge forskerne vil det med tiden komme mobile AI-applikasjoner som kan fungere like godt på hundrevis av språk. Det endelige målet er å bruke den nye metoden til å komprimere store MLM-er uten at det går ut over ytelsen.

Kilde: TechXplore