Toliau augant giluminio mokymosi modeliams, mašinų mokymosi modelių kiekis tampa būtinas, o veiksmingų suspaudimo metodų poreikis tapo vis aktualesnis. Mažo bitų kiekybinis nustatymas yra metodas, kuris sumažina modelio dydį bandant išlaikyti tikslumą. Tyrėjai nustatė geriausią bitų plotą, kad padidintų efektyvumą, nepakenkiant veiklai. Įvairūs tyrimai ištyrė skirtingus bitų pločio nustatymus, tačiau prieštaringos išvados atsirado dėl to, kad nebuvo standartizuotos vertinimo sistemos. Šis nuolatinis siekimas daro įtaką didelio masto dirbtinio intelekto modelių kūrimui, nustatant jų galimybes diegti atminties ribotoje aplinkoje.
Pagrindinis mažo bitų kiekybinio iššūkis yra optimalaus skaičiavimo efektyvumo ir modelio tikslumo kompromisų nustatymas. Diskusijos dėl to, kuris bitų plotis yra veiksmingiausias, lieka neišspręstas, kai kurie teigia, kad 4 bitų kiekybinis įvertinimas suteikia geriausią pusiausvyrą, o kiti teigia, kad 1,58 bitų modeliai gali pasiekti palyginamų rezultatų. Tačiau ankstesniuose tyrimuose trūko vieningos metodikos, skirtos palyginti skirtingus kvantizavimo parametrus, todėl buvo padarytos nenuoseklios išvados. Ši žinių spraga apsunkina patikimus mastelio keitimo įstatymus, susijusius su mažo bitų tikslumo kiekybine. Be to, pasiekus stabilų mokymą ypač mažo bitų parametruose, yra techninė kliūtis, nes mažesnio bitų modeliai dažnai patiria reikšmingus reprezentacinius pokyčius, palyginti su aukštesnio bitų kolegomis.
Jų įgyvendinimas ir efektyvumas skiriasi. Išmokęs modelį visiškai tiksliai, kvantizavimas po mokymo (PTQ) taiko kvantizavimą, todėl jį lengva diegti, tačiau linkę į tikslumo skilimą esant mažam bitų plotui. Kita vertus, kiekybiškai suprato mokymai (QAT) integruoja kvantizavimą į mokymo procesą, leisdamas modeliams efektyviau prisitaikyti prie žemo bitų reprezentacijų. Buvo ištirti kiti metodai, tokie kaip mokomi kvantalizacijos ir mišraus tikslumo strategijos, siekiant patobulinti pusiausvyrą tarp tikslumo ir modelio dydžio. Tačiau šiems metodams trūksta universalaus sisteminio įvertinimo sistemos, todėl sunku palyginti jų efektyvumą skirtingomis sąlygomis.
META tyrėjai pristatė „Paretoq“-struktūrizuotą sistemą, skirtą suvienodinti sub-4 bitų kiekybinio nustatymo metodų vertinimą. Ši sistema leidžia griežtai palyginti skirtinguose bitų pločio nustatymuose, įskaitant 1 bitų, 1,58 bitų, 2 bitų, 3 bitų ir 4 bitų kiekybinius. Patobulindama mokymo schemas ir bitų specifinėms kvantizavimo funkcijoms, „Paretoq“ pasiekia geresnį tikslumą ir efektyvumą, palyginti su ankstesnėmis metodikomis. Skirtingai nuo ankstesnių darbų, kurie savarankiškai optimizuoja konkrečius bitų lygius, „Paretoq“ nustato nuoseklų vertinimo procesą, kuris objektyviai lygina kvantizavimo kompromisus.
„Paretoq“ naudoja optimizuotą kvantizavimo suvokimo strategiją, kad sumažintų tikslumo praradimą, išlaikant modelio suspaudimo efektyvumą. Sistema tobulina bitų specifines kvantizavimo funkcijas ir pritaikytas mokymo strategijas kiekvienam bitų plotui. Kritinė šio tyrimo išvados yra atskiras mokymosi perėjimas, pastebėtas tarp 2 ir 3 bitų kiekybinio įvertinimo. Modeliai, apmokyti 3 bitų tikslumu ir aukštesniais, palaiko vaizdavimo panašumus su pradiniais iš anksto išmokytais paskirstymais, o modeliai mokomi 2 bitų ar mažesnėje patirtyje drastiškame reprezentaciniame poslinkyje. Norėdami įveikti šį iššūkį, sistema sistemingai optimizuoja kvantizavimo tinklą, mokymo paskirstymą ir bitų specifinėms mokymosi strategijoms.
Išsamūs eksperimentai patvirtina aukštesnį „Paretoq“ našumą, palyginti su esamais kiekybinio įvertinimo metodais. Trisorinis 600 m parametro modelis, sukurtas naudojant „Paretoq“, tikslumu pralenkia ankstesnį moderniausio trišakio 3B parametro modelį, tuo pačiu naudojantis tik penktadalį parametrų. Tyrimas rodo, kad 2 bitų kiekybinis kiekis padidina 1,8 procentinio punkto tikslumo pagerėjimą, palyginti su tokio paties dydžio 4 bitų modeliu, nustatydamas jo gyvybingumą kaip alternatyvą įprastiniam 4 bitų kiekybiniam kiekybiniam kiekiui. Be to, „Paretoq“ įgalina aparatinei įrangai draugiškiau įgyvendinti, o optimizuoti 2 bitų CPU branduoliai pasiekia didesnį greičio ir atminties efektyvumą, palyginti su 4 bitų kiekybine. Eksperimentai taip pat atskleidžia, kad trišakiai, 2 bitų ir 3 bitų kiekybiniai modeliai pasiekia geresnio tikslumo dydžio kompromisus nei 1 bitų ir 4 bitų kiekybiškai, sustiprindami sub-4 bitų metodų reikšmingumą.
Šio tyrimo išvados suteikia tvirtą pagrindą optimizuoti mažo bitų kiekybinį kiekį didelių kalbų modeliuose. Pristatant struktūrizuotą sistemą, tyrimas iš tikrųjų nagrinėja tikslumo kompromisų ir bitų pločio optimizavimo iššūkius. Rezultatai rodo, kad nors ekstremalus mažo bitų kiekybinis kiekis yra perspektyvus, 2 bitų ir 3 bitų kiekybinis kiekis šiuo metu siūlo geriausią pusiausvyrą tarp našumo ir efektyvumo. Būsimi pažanga, palaikant aparatinę įrangą mažo bitų skaičiavimui, dar labiau padidins šių metodų praktiškumą, leisdamas efektyviau diegti didelio masto mašinų mokymosi modelius išteklių apribojime.
Patikrinkite popierius. Visas šio tyrimo kreditas skirtas šio projekto tyrėjams. Be to, nepamirškite sekti mūsų „Twitter“ ir prisijunkite prie mūsų „Telegram“ kanalas ir „LinkedIn GrOUP. Nepamirškite prisijungti prie mūsų 75K+ ml subreddit.
🚨 Rekomenduojama atvirojo kodo AI platforma: „„ Intellagent “yra atvirojo kodo daugialypės terpės sistema, skirta įvertinti sudėtingą pokalbio AI sistemą“ (Paaukštintas)
Nikhil yra „MarkTechPost“ stažuotės konsultantas. Jis siekia integruoto dvigubo laipsnio medžiagų Indijos technologijos institute, Kharagpur mieste. „Nikhil“ yra AI/ML entuziastas, kuris visada tiria programas tokiose srityse kaip biomedžiagos ir biomedicinos mokslas. Turėdamas tvirtą medžiagos mokslo patirtį, jis tyrinėja naujus pasiekimus ir sukuria galimybes prisidėti.
✅ (rekomenduojama) Prisijunkite prie mūsų telegramos kanalo
