Des scientifiques présentent une nouvelle méthode de compression des modèles d'IA multilingues

Volodymyr Hryshchenko/Unsplash

Des chercheurs de l'université Johns Hopkins ont proposé une nouvelle approche de l'optimisation des modèles linguistiques multilingues (MLM), qui permet de réduire considérablement leur taille sans perte de performance.

Ce que nous savons

Les MLM permettent de générer et d'analyser des textes dans différentes langues. Cependant, plus ils couvrent de langues, moins ils sont performants en raison des "interférences linguistiques".

Contrairement aux méthodes traditionnelles, qui consistent à développer un réseau neuronal distinct pour chaque langue, les chercheurs ont décidé d'utiliser des matrices de faible rang. Elles permettent de comprimer les données et de réduire le nombre de paramètres nécessaires pour ajouter de nouvelles langues au modèle.

Selon Haoran Xu, l'un des auteurs, cela fonctionne comme une palette de couleurs limitée pour un artiste. Il n'est pas nécessaire de donner à chaque enfant de la classe son propre jeu de peintures, une palette commune de trois couleurs est suffisante. Cela réduit considérablement le besoin de paramètres lors de la mise à l'échelle du modèle.

Les auteurs ont testé leur méthode dans 95 langues. Le modèle a donné d'excellents résultats tout en utilisant beaucoup moins de paramètres. Selon les chercheurs, cela ouvre la voie à la création de MLM compacts et efficaces.

Selon les scientifiques, il existera à terme des applications mobiles d'intelligence artificielle qui fonctionneront aussi bien dans des centaines de langues. Leur objectif ultime est d'appliquer la nouvelle méthode pour comprimer les grands MLM sans nuire à leurs performances.

Source : TechXplore TechXplore