„Salesforce AI Research“ pristato „Moirai-MoE“: MoE laiko serijos pagrindo modelį, kuris autonomiškai pasiekia žetonų lygio modelio specializaciją

Laiko eilučių prognozavimas jau seniai buvo neatsiejama finansų, sveikatos priežiūros, meteorologijos ir tiekimo grandinės valdymo dalis. Pagrindinis jo tikslas yra numatyti būsimus duomenų taškus remiantis istoriniais stebėjimais, kurie gali būti sudėtingi dėl sudėtingo ir įvairaus laiko eilučių duomenų pobūdžio. Naujausi mašininio mokymosi pasiekimai, ypač pagrindų modeliai, pakeitė šią sritį, sukurdami apibendrintus modelius, galinčius tvarkyti įvairias laiko eilutes be specializuoto, konkrečiam atvejui pritaikyto mokymo. Šie pamatiniai modeliai žymi reikšmingą perėjimą nuo tradicinių metodų, kuriems reikėjo kelių modelių, pritaikytų konkretiems duomenų rinkiniams. Tačiau laiko eilučių charakteristikų įvairovė, pvz., dažnio, sezoniškumo ir pagrindinių modelių skirtumai, ir toliau kelia didelių iššūkių vieningo modelio mokymui.

Pagrindinė laiko eilučių prognozavimo problema yra veiksmingas duomenų nevienalytiškumo tvarkymas. Laiko eilučių duomenys iš skirtingų šaltinių labai skiriasi dėl dažnio, pasiskirstymo ir struktūros. Dabartiniai prognozavimo modeliai dažnai remiasi žmogaus apibrėžta dažniu pagrįsta specializacija, siekiant išspręsti šią įvairovę. Tačiau vien dažnis nėra patikimas laiko eilutės modelio rodiklis, nes panašaus dažnio duomenys gali rodyti skirtingą elgesį. Ir atvirkščiai, skirtingų dažnių duomenys gali rodyti panašius modelius. Šis metodas turi atspindėti sudėtingumą ir įvairovę, būdingą realaus pasaulio laiko eilutėms. Kitas iššūkis yra nestacionarus laiko eilučių duomenų pobūdis, kai laikui bėgant keičiasi statistinės duomenų savybės, todėl sunku tiksliai modeliuoti naudojant dažnių grupavimą.

Esami laiko eilučių prognozavimo metodai bando spręsti duomenų kintamumą įvairiais metodais. Pavyzdžiui, modeliuose, tokiuose kaip TEMPO ir UniTime, yra kalbiniai raginimai, padedantys modeliui atskirti skirtingus duomenų šaltinius ir pasiekti ribotą duomenų rinkinio lygio specializaciją. Kiti modeliai, pvz., TimesFM, palaiko konkretaus dažnio įterpimo žodynus, kad padėtų atskirti duomenų tipus pagal dažnį. Tačiau daugelis modelių, įskaitant plačiai pripažintą Chronos seriją, pasirenka apibendrintą struktūrą be specializuotų modulių, todėl modelis tampa sudėtingesnis ir reikalauja didelių parametrų. Šių metodų iššūkis yra tas, kad jie nesugeba visiškai užfiksuoti įvairaus laiko eilučių duomenų pobūdžio, nes vien dažnis tik kartais koreliuoja su pagrindiniais duomenų modeliais, o tai lemia neveiksmingumą ir modelio tikslumo pažeidimą.

Tyrėjai iš „Salesforce AI Research“, Singapūro nacionalinio universiteto ir Honkongo mokslo ir technologijų universiteto pristatė naujovišką modelį, vadinamą MOIRAI-MoE. MOIRAI-MoE į savo transformatoriaus architektūrą integruoja nedidelį ekspertų mišinį (MoE), leidžiantį specializaciją žetonų lygiu be žmogaus nustatytos dažnio euristikos. Šis duomenimis pagrįstas metodas sumažina priklausomybę nuo iš anksto nustatytų dažniu pagrįstų sluoksnių ir naudoja vieną įvesties / išvesties projekcijos sluoksnį, leidžiantį modeliui automatiškai užfiksuoti ir pateikti įvairius modelius. Pasiekdama žetonų lygio specializaciją, MOIRAI-MoE suteikia lankstesnį ir efektyvesnį sprendimą, galintį geriau atvaizduoti unikalias įvairių laiko eilučių duomenų charakteristikas, nereikalaujant atskirų modelių kiekvienai dažnių kategorijai.

MOIRAI-MoE architektūra naudoja blokavimo funkciją, kuri kiekvieną prieigos raktą priskiria atitinkamam Transformatoriaus sluoksnių ekspertui, remiantis žetonų klasterizavimu, gautu iš iš anksto parengto modelio. Šis grupavimo metodas grindžiamas euklido atstumu iki centroidų, todėl panašių modelių žetonus gali apdoroti tas pats ekspertas, o specializuoti ekspertai tvarko įvairius žetonus. Įtraukdama 32 ekspertų tinklus, kurių kiekvienas sutelkia dėmesį į unikalias laiko eilučių charakteristikas, MOIRAI-MoE efektyviai sumažina skaičiavimo išlaidas, tuo pačiu padidindama gebėjimą apibendrinti skirtingų tipų duomenis. Šis metodas leidžia MOIRAI-MoE puikiai pavaizduoti nestacionarius laiko eilučių duomenis, dinamiškai prisitaikant prie duomenų pokyčių.

Išsamūs 39 duomenų rinkinių bandymai parodė puikų MOIRAI-MoE našumą tiek paskirstymo, tiek nulinio prognozavimo scenarijuose. Kalbant apie platinimo prognozes, MOIRAI-MoE savo tankaus modelio atitikmenį pralenkė iki 17%, parodydamas reikšmingą tikslumo pagerėjimą, naudojant iki 65 kartų mažiau aktyvintų parametrų nei kiti pagrindiniai modeliai, įskaitant TimesFM ir Chronos. Nulinės prognozės metu, kai modelis buvo išbandytas su duomenų rinkiniais, neįtrauktais į mokymo duomenis, MOIRAI-MoE našumas pranoko tradicinius modelius. Atliekant šiuos testus, MOIRAI-MoE, palyginti su ankstesniais modeliais, 3–14 % pagerėjo nuolatinio reitinguoto tikimybės balo (CRPS) pagerėjimas ir 8–16 % pagerėjo vidutinė absoliučios skalės paklaida (MASE). Šie rezultatai pabrėžia tvirtą modelio apibendrinimo galimybę, nereikalaujant konkrečios užduoties mokymo.

Šiame tyrime pateikiami pagrindiniai dalykai, pabrėžiantys pažangą, kurią MOIRAI-MoE suteikia laiko eilučių prognozavimui:

1. Duomenimis pagrįsta specializacija: Pasiekdama žetonų lygio specializaciją per negausų ekspertų mišinį, MOIRAI-MoE įveikia žmogaus apibrėžtos dažnių specializacijos apribojimus, leidžiančius niuansingiau pavaizduoti laiko eilučių įvairovę.
2. Skaičiavimo efektyvumas: Retas modelio ekspertų aktyvinimas drastiškai sumažina skaičiavimo poreikį, pasiekiant iki 65 kartų mažiau aktyvuotų parametrų, išlaikant aukštą tikslumą.
3. Našumo padidėjimas: Įvairių duomenų rinkinių bandymai patvirtino, kad MOIRAI-MoE pranoksta tankius modelius ir pagrindinius modelius, tokius kaip TimesFM ir Chronos, o paskirstymo testuose pasiekęs 17 % pagerėjimą, palyginti su tankiais analogais.
4. Mastelio keitimas ir apibendrinimas: MOIRAI-MoE demonstruoja puikų našumą nuliniu būdu, todėl jis puikiai tinka realaus pasaulio prognozavimo užduotims, nereikalaujant specialių mokymų kiekvienai programai, o tai labai svarbu įvairiose programose, pvz., finansų, sveikatos priežiūros ir klimato modeliavimo srityse.

Apibendrinant galima pasakyti, kad MOIRAI-MoE yra didelė pažanga laiko eilučių prognozavimo srityje, įdiegdama lankstų, duomenimis pagrįstą metodą, įveikiantį dažniu pagrįstos specializacijos apribojimus. Turėdamas nedidelį ekspertų architektūros derinį, MOIRAI-MoE atsižvelgia į įvairų ir nestacionarų laiko eilučių duomenų pobūdį ir pasiekia didelį skaičiavimo efektyvumą ir našumą. Šis naujas požiūris pabrėžia žetonų lygio specializacijos potencialą, atveria kelią būsimiems laiko eilučių pagrindų modelių patobulinimams ir išplečia nulinio prognozavimo naudą įvairiose pramonės šakose ir programose.

Patikrinkite Popierius. Visi nuopelnai už šį tyrimą tenka šio projekto tyrėjams. Taip pat nepamirškite sekti mūsų Twitter ir prisijunk prie mūsų Telegramos kanalas ir LinkedIn group. Jei jums patinka mūsų darbai, jums patiks ir mūsų darbai naujienlaiškis.. Nepamirškite prisijungti prie mūsų 55k+ ML SubReddit.

(AI žurnalas / ataskaita) Skaitykite mūsų naujausią ataskaitą apieMAŽI KALBOS MODELIAI“

Asif Razzaq yra „Marktechpost Media Inc.“ generalinis direktorius. Kaip verslininkas ir inžinierius, Asif yra įsipareigojęs panaudoti dirbtinio intelekto potencialą socialinei gerovei. Naujausias jo siekis yra dirbtinio intelekto medijos platformos „Marktechpost“ paleidimas, kuri išsiskiria išsamia mašininio mokymosi ir gilaus mokymosi naujienomis, kurios yra techniškai pagrįstos ir lengvai suprantamos plačiajai auditorijai. Platforma gali pasigirti daugiau nei 2 milijonais peržiūrų per mėnesį, o tai rodo jos populiarumą tarp auditorijos.