Científicos presentan un nuevo método para comprimir modelos multilingües de IA

Investigadores de la Universidad Johns Hopkins han propuesto un nuevo enfoque para optimizar los modelos lingüísticos multilingües (MLM), que permite reducir significativamente su tamaño sin perder rendimiento.

Esto es lo que sabemos

Los MLM permiten generar y analizar textos en distintos idiomas. Sin embargo, cuantos más idiomas abarcan, peor es su rendimiento debido a las "interferencias lingüísticas".

A diferencia de los métodos tradicionales, en los que se desarrolla una red neuronal distinta para cada lengua, los investigadores decidieron utilizar matrices de bajo rango. Permiten comprimir los datos y reducir el número de parámetros necesarios para añadir nuevas lenguas al modelo.

Según Haoran Xu, uno de los autores, funciona como una paleta de colores limitada para un artista. No hace falta dar a cada niño de la clase su propio juego de pinturas, basta con una paleta común de tres colores. Esto reduce enormemente la necesidad de parámetros a la hora de escalar el modelo.

Los autores probaron su método en 95 idiomas. El modelo dio excelentes resultados utilizando muchos menos parámetros. Los investigadores creen que esto allana el camino para la creación de MLM compactos y eficaces.

Según los científicos, con el tiempo habrá aplicaciones móviles de IA que puedan funcionar igual de bien en cientos de idiomas. Su objetivo final es aplicar el nuevo método para comprimir grandes MLM sin perjudicar su rendimiento.

Fuente: TechXplore