Spartus dirbtinio intelekto (AI) vystymasis sukūrė modelius su galingomis galimybėmis, tokiomis kaip kalbos supratimas ir regėjimo apdorojimas. Tačiau šių modelių diegimas pažangiuose įrenginiuose išlieka sudėtingas dėl skaičiavimo galios, atminties ir energijos vartojimo efektyvumo apribojimų. Lengvų modelių, kurie gali efektyviai veikti pažangiuose įrenginiuose, tačiau vis tiek užtikrina konkurencingą našumą, poreikis auga, nes dirbtinio intelekto atvejai apima ne tik debesis, bet ir kasdienius įrenginius. Tradiciniai dideli modeliai dažnai reikalauja daug išteklių, todėl jie yra nepraktiški mažesniems įrenginiams ir sukuria spragą kraštinių skaičiavimų srityje. Tyrėjai ieško veiksmingų būdų, kaip dirbtinį intelektą pritaikyti pažangioms aplinkoms nepakenkiant modelio kokybei ir efektyvumui.
Tsinghua universiteto mokslininkai neseniai išleido GLM-Edge seriją, modelių šeimą nuo 1,5 milijardo iki 5 milijardų parametrų, sukurtų specialiai krašto įrenginiams. GLM-Edge modeliai siūlo kalbos apdorojimo ir regėjimo galimybių derinį, pabrėžiant efektyvumą ir prieinamumą neprarandant našumo. Ši serija apima modelius, kurie tinka tiek pokalbio AI, tiek regėjimo programoms, skirtoms ribotų išteklių įrenginių apribojimams spręsti.
„GLM-Edge“ apima kelis variantus, optimizuotus įvairioms užduotims ir įrenginio galimybėms, suteikiantį keičiamo dydžio sprendimą įvairiems naudojimo atvejams. Serija paremta bendrosios kalbos modelio (GLM) technologija, praplečiančia jos našumą ir moduliškumą iki kraštutinių scenarijų. Dirbtiniu intelektu varomų daiktų interneto įrenginių ir kraštinių programų populiarumas ir toliau auga, GLM-Edge padeda įveikti atotrūkį tarp daug skaičiavimo reikalaujančio AI ir kraštinių įrenginių apribojimų.
Techninės detalės
GLM-Edge serija remiasi GLM struktūra, optimizuota naudojant kvantavimo metodus ir architektūrinius pakeitimus, dėl kurių jie tinkami kraštams. Modeliai buvo apmokyti naudojant žinių distiliavimo ir genėjimo derinį, kuris leidžia žymiai sumažinti modelio dydį išlaikant aukštą tikslumo lygį. Konkrečiai, modeliai naudoja 8 bitų ir net 4 bitų kvantavimą, kad sumažintų atminties ir skaičiavimo poreikius, todėl juos galima pritaikyti mažiems įrenginiams su ribotais ištekliais.
GLM-Edge serijoje yra dvi pagrindinės sritys: pokalbio AI ir vaizdinės užduotys. Kalbos modeliai gali atlikti sudėtingus dialogus su sumažintu vėlavimu, o regėjimo modeliai palaiko įvairias kompiuterinio matymo užduotis, tokias kaip objektų aptikimas ir vaizdo antraštės realiuoju laiku. Svarbus „GLM-Edge“ pranašumas yra jo moduliškumas – jis gali sujungti kalbos ir regėjimo galimybes į vieną modelį, siūlydamas sprendimą daugiarūšėms programoms. Praktiniai GLM-Edge pranašumai apima efektyvų energijos suvartojimą, sumažintą delsą ir galimybę paleisti dirbtinio intelekto programas tiesiogiai mobiliuosiuose įrenginiuose, išmaniosiose kamerose ir įterptosiose sistemose.
„GLM-Edge“ reikšmė slypi jos gebėjime padaryti sudėtingas AI galimybes prieinamas platesniam įrenginių spektrui, ne tik galingiems debesies serveriams. Sumažinus priklausomybę nuo išorinės skaičiavimo galios, GLM-Edge modeliai leidžia naudoti DI programas, kurios yra ekonomiškos ir nekenksmingos privatumui, nes duomenis galima apdoroti vietoje įrenginyje, jų nereikia siųsti į debesį. Tai ypač aktualu programoms, kuriose privatumas, mažas delsimas ir veikimas neprisijungus yra svarbūs veiksniai.
GLM-Edge įvertinimo rezultatai rodo gerą našumą, nepaisant sumažėjusio parametrų skaičiaus. Pavyzdžiui, GLM-Edge-1.5B rezultatai buvo panašūs į daug didesnius transformatorių modelius, kai buvo išbandytas pagal bendruosius NLP ir regėjimo etalonus, pabrėžiant kruopštaus dizaino optimizavimo efektyvumą. Serija taip pat parodė puikų našumą atliekant su kraštais susijusias užduotis, tokias kaip raktinių žodžių nustatymas ir vaizdo įrašų analizė realiuoju laiku, užtikrinant modelio dydžio, delsos ir tikslumo pusiausvyrą.
Išvada
Tsinghua universiteto GLM-Edge serija yra pažanga krašto AI srityje, sprendžiant ribotų išteklių įrenginių iššūkius. Pateikdama modelius, kuriuose efektyvumas derinamas su pokalbio ir vaizdo galimybėmis, GLM-Edge įgalina naujas praktiškas ir efektyvias DI programas. Šie modeliai padeda priartinti visur esančio AI viziją prie realybės, leidžiant dirbtinio intelekto skaičiavimus įrenginyje ir pateikti greitesnius, saugesnius ir ekonomiškesnius AI sprendimus. Kadangi dirbtinio intelekto naudojimas ir toliau plečiasi, GLM-Edge serija išsiskiria kaip pastangos, sprendžiančios unikalius krašto skaičiavimo iššūkius ir suteikia daug žadantį DI kelią į priekį realiame pasaulyje.
Patikrinkite „GitHub“ puslapis ir „Models on Hugging Face“. Visi nuopelnai už šį tyrimą tenka šio projekto tyrėjams. Taip pat nepamirškite sekti mūsų Twitter ir prisijunk prie mūsų Telegramos kanalas ir LinkedIn group. Jei jums patinka mūsų darbai, jums patiks ir mūsų darbai naujienlaiškis.. Nepamirškite prisijungti prie mūsų 55k+ ML SubReddit.
🎙️ 🚨 „Didelių kalbos modelio pažeidžiamumų įvertinimas: lyginamoji raudonųjų komandų sudarymo metodų analizė“ Skaitykite visą ataskaitą (Paaukštintas)
Asif Razzaq yra „Marktechpost Media Inc.“ generalinis direktorius. Kaip verslininkas ir inžinierius, Asif yra įsipareigojęs panaudoti dirbtinio intelekto potencialą socialinei gerovei. Naujausias jo siekis yra dirbtinio intelekto medijos platformos „Marktechpost“ paleidimas, kuri išsiskiria išsamia mašininio mokymosi ir gilaus mokymosi naujienomis, kurios yra techniškai pagrįstos ir lengvai suprantamos plačiajai auditorijai. Platforma gali pasigirti daugiau nei 2 milijonais peržiūrų per mėnesį, o tai rodo jos populiarumą tarp auditorijos.
🧵🧵 (Atsisiųsti) Didelių kalbų modelio pažeidžiamumo ataskaitos įvertinimas (reklamuojamas)
