Forskere præsenterer en ny metode til komprimering af flersprogede AI-modeller

Volodymyr Hryshchenko/Unsplash

Forskere fra Johns Hopkins University har foreslået en ny tilgang til optimering af flersprogede sprogmodeller (MLM'er), som gør det muligt at reducere deres størrelse betydeligt uden at miste ydeevne.

Her er, hvad vi ved

MLM'er gør det muligt at generere og analysere tekster på forskellige sprog. Men jo flere sprog de dækker, jo dårligere præsterer de på grund af "sproginterferens".

I modsætning til traditionelle metoder, hvor der udvikles et separat neuralt netværk for hvert sprog, besluttede forskerne at bruge matricer med lav rang. De gør det muligt at komprimere dataene og reducere antallet af parametre, der er nødvendige for at tilføje nye sprog til modellen.

Ifølge Haoran Xu, en af forfatterne, fungerer det som en begrænset farvepalet for en kunstner. Der er ingen grund til at give hvert barn i klassen deres eget sæt maling, en fælles palet med tre farver er tilstrækkelig. Det reducerer i høj grad behovet for parametre, når man skalerer modellen.

Forfatterne testede deres metode på 95 sprog. Modellen viste fremragende resultater, mens den brugte langt færre parametre. Det baner vejen for at skabe kompakte og effektive MLM'er, mener forskerne.

Ifølge forskerne vil der med tiden være mobile AI-applikationer, der kan fungere lige godt på hundredvis af sprog. Deres ultimative mål er at anvende den nye metode til at komprimere store MLM'er uden at skade deres ydeevne.

Kilde: TechXplore