Учені представили новий метод стиснення багатомовних ШІ-моделей
Volodymyr Hryshchenko/Unsplash
Вчені з Університету Джонса Гопкінса запропонували новий підхід до оптимізації багатомовних мовних моделей (MLM), що дає змогу суттєво зменшити їхній розмір без втрати продуктивності.
Що відомо
MLM дають змогу генерувати й аналізувати тексти різними мовами. Однак що більше мов вони охоплюють, то гірше працюють через "мовну інтерференцію".
На відміну від традиційних методів, коли для кожної мови розробляється окрема нейромережа, дослідники вирішили використовувати матриці низького рангу. Вони дають змогу стискати дані та скорочувати кількість параметрів, необхідних для додавання нових мов у модель.
За словами одного з авторів, Хаорана Сюя (Haoran Xu), це працює як обмежена колірна палітра для художника. Немає потреби давати кожній дитині в класі власний набір фарб, достатньо загальної палітри з трьох кольорів. Це значно знижує потребу в параметрах під час масштабування моделі.
Автори протестували свій метод на 95 мовах. Модель показала чудові результати, використовуючи при цьому набагато менше параметрів. Це відкриває шлях до створення компактних і ефективних MLM, вважають дослідники.
На думку вчених, з часом з'являться мобільні АІ-додатки, здатні працювати однаково добре на сотнях мов. Їхня кінцева мета - застосувати новий метод для стиснення великих MLM без шкоди для їхньої продуктивності.
Джерело: TechXplore
