Wetenschappers presenteren een nieuwe methode voor het comprimeren van meertalige AI-modellen

Volodymyr Hryshchenko/Unsplash

Onderzoekers van de Johns Hopkins University hebben een nieuwe aanpak voorgesteld voor het optimaliseren van meertalige taalmodellen (MLM's), waardoor ze aanzienlijk kleiner kunnen worden zonder aan prestaties in te boeten.

Dit is wat we weten

Met MLM's kunnen teksten in verschillende talen worden gegenereerd en geanalyseerd. Echter, hoe meer talen ze bestrijken, hoe slechter ze presteren als gevolg van "taalinterferentie".

In tegenstelling tot traditionele methoden, waarbij voor elke taal een apart neuraal netwerk wordt ontwikkeld, besloten de onderzoekers om matrices met een lage rangorde te gebruiken. Deze maken het mogelijk om de gegevens te comprimeren en het aantal parameters te verminderen dat nodig is om nieuwe talen aan het model toe te voegen.

Volgens Haoran Xu, een van de auteurs, werkt het als een beperkt kleurenpalet voor een kunstenaar. Het is niet nodig om elk kind in de klas zijn eigen set verf te geven, een gemeenschappelijk palet van drie kleuren is voldoende. Dit vermindert de behoefte aan parameters bij het schalen van het model aanzienlijk.

De auteurs hebben hun methode getest in 95 talen. Het model liet uitstekende resultaten zien terwijl er veel minder parameters nodig waren. Dit maakt de weg vrij voor het maken van compacte en efficiënte MLM's, menen de onderzoekers.

Volgens de wetenschappers zullen er op termijn mobiele AI-toepassingen zijn die even goed kunnen werken in honderden talen. Hun uiteindelijke doel is om de nieuwe methode toe te passen om grote MLM's te comprimeren zonder dat dit ten koste gaat van hun prestaties.

Bron: TechXplore