Wissenschaftler präsentieren eine neue Methode zur Komprimierung mehrsprachiger KI-Modelle

Volodymyr Hryshchenko/Unsplash

Forscher der Johns Hopkins University haben einen neuen Ansatz zur Optimierung von mehrsprachigen Sprachmodellen (MLMs) vorgeschlagen, der es ermöglicht, deren Größe ohne Leistungseinbußen erheblich zu verringern.

Was bekannt ist

MLMs ermöglichen die Erstellung und Analyse von Texten in verschiedenen Sprachen. Je mehr Sprachen sie jedoch abdecken, desto schlechter ist ihre Leistung aufgrund von "Sprachinterferenzen".

Im Gegensatz zu herkömmlichen Methoden, bei denen für jede Sprache ein eigenes neuronales Netz entwickelt wird, haben sich die Forscher für die Verwendung von Matrizen mit niedrigem Rang entschieden. Sie ermöglichen es, die Daten zu komprimieren und die Anzahl der Parameter zu verringern, die benötigt werden, um neue Sprachen in das Modell aufzunehmen.

Laut Haoran Xu, einem der Autoren, funktioniert dies wie eine begrenzte Farbpalette für einen Künstler. Es ist nicht nötig, jedem Kind in der Klasse einen eigenen Satz Farben zu geben, eine gemeinsame Palette von drei Farben ist ausreichend. Dadurch wird der Bedarf an Parametern für die Skalierung des Modells erheblich reduziert.

Die Autoren haben ihre Methode in 95 Sprachen getestet. Das Modell zeigte hervorragende Ergebnisse bei weitaus weniger Parametern. Dies ebnet den Weg für die Erstellung kompakter und effizienter MLMs, glauben die Forscher.

Den Wissenschaftlern zufolge wird es mit der Zeit mobile KI-Anwendungen geben, die in Hunderten von Sprachen gleichermaßen gut funktionieren. Ihr ultimatives Ziel ist es, die neue Methode anzuwenden, um große MLMs zu komprimieren, ohne ihre Leistung zu beeinträchtigen.

Quelle: TechXplore