Dideli kalbų modeliai (LLM) tapo galingais natūralios kalbos apdorojimo įrankiais, tačiau suprasti jų vidines reprezentacijas tebėra didelis iššūkis. Naujausi pasiekimai naudojant negausius automatinius kodavimo įrenginius atskleidė aiškinamas „ypatybes“ arba koncepcijas modelių aktyvinimo erdvėje. Nors šie atrasti taškiniai debesys dabar yra viešai prieinami, jų sudėtingos struktūrinės struktūros suvokimas įvairiais masteliais yra esminė tyrimo problema. Šių struktūrų analizė apima daugybę iššūkių: identifikuoti geometrinius modelius atominiu lygmeniu, suprasti funkcinį moduliškumą tarpinėje skalėje ir ištirti bendrą savybių pasiskirstymą didesniu mastu. Tradiciniai metodai stengėsi visapusiškai suprasti, kaip šios skirtingos skalės sąveikauja ir prisideda prie modelio elgesio, todėl labai svarbu sukurti naujas šių daugialypių struktūrų analizės metodikas.
Ankstesniuose metodologiniuose bandymuose suprasti LLM funkcijų struktūras buvo laikomasi kelių skirtingų metodų, kurių kiekvienas turi savo apribojimų. Retieji automatiniai kodavimo įrenginiai (SAE) atsirado kaip neprižiūrimas metodas interpretuojamoms ypatybėms atrasti, iš pradžių atskleidžiant kaimynystėje pagrįstas susijusių funkcijų grupes per UMAP projekcijas. Ankstyvieji žodžių įterpimo metodai, tokie kaip „GloVe“ ir „Word2vec“, atrado tiesinius ryšius tarp semantinių sąvokų, parodydami pagrindinius geometrinius modelius, tokius kaip analoginiai ryšiai. Nors šie metodai suteikė vertingų įžvalgų, juos ribojo dėmesys vieno masto analizei. Meta-SAE metodai bandė išskaidyti ypatybes į daugiau atominių komponentų, o tai rodo hierarchinę struktūrą, tačiau stengėsi užfiksuoti visą daugialypės sąveikos sudėtingumą. Funkcijų vektorių analizė sekos modeliuose atskleidė tiesinius įvairių sąvokų vaizdus nuo žaidimo pozicijų iki skaitinių dydžių, tačiau šie metodai paprastai buvo sutelkti į konkrečias sritis, o ne suteikiant išsamų supratimą apie funkcijų erdvės geometrinę struktūrą įvairiose skalėse.
Masačusetso technologijos instituto tyrėjai siūlo tvirtą metodiką geometrinėms struktūroms SAE bruožų erdvėse analizuoti pasitelkiant „kristalinių struktūrų“ koncepciją – modelius, atspindinčius semantinius sąvokų ryšius. Ši metodika apima ne tik paprastus lygiagretainius ryšius (pvz., vyras:moteris::karalius: karalienė) ir apima trapecijos formos darinius, vaizduojančius vienos funkcijos vektorinius ryšius, pvz., šalies ir sostinės atvaizdavimą. Pradiniai tyrimai atskleidė, kad šiuos geometrinius raštus dažnai slepia „blaškymo bruožai“ – semantiškai nereikšmingi matmenys, tokie kaip žodžio ilgis, kurie iškreipia laukiamus geometrinius ryšius. Siekiant išspręsti šį iššūkį, tyrime pristatoma patobulinta metodika, naudojant linijinę diskriminacinę analizę (LDA), kuri projektuoja duomenis į žemesnės dimensijos poerdvę, efektyviai išfiltruojant šias atitraukiančias savybes. Šis metodas leidžia aiškiau identifikuoti reikšmingus geometrinius modelius, sutelkiant dėmesį į signalo-triukšmo savuosius režimus, kur signalas reiškia klasterių svyravimus, o triukšmas – klasterio viduje.
Metodika išplečiama į didesnio masto struktūrų analizę, tiriant funkcinį moduliškumą SAE funkcijų erdvėje, panašiai kaip specializuotuose biologinių smegenų regionuose. Šis metodas nustato funkcines „skilteles” sistemingai analizuojant dokumentų apdorojimo ypatybes. Naudojant 12 sluoksnio likutinį SAE srautą su 16 000 funkcijų, tyrimas apdoroja dokumentus iš duomenų rinkinio „The Pile“, įvertindamas funkcijas kaip „suveikiančias“, kai jų paslėptas aktyvinimas viršija 1, ir įrašant bendrus įvykius 256 prieigos raktų blokuose. Analizėje naudojami įvairūs giminingumo rodikliai (paprastas atitikimo koeficientas, Jaccard panašumas, kauliukų koeficientas, persidengimo koeficientas ir Phi koeficientas), kad būtų galima išmatuoti bruožų ryšius, o po to atliekamas spektrinis klasterizavimas. Siekiant patvirtinti erdvinio moduliškumo hipotezę, tyrime įgyvendinami du kiekybiniai metodai: palyginama geometrija pagrįstų ir bendrų įvykių klasterizacijos rezultatų tarpusavio informacija ir lavinami logistinės regresijos modeliai, leidžiantys numatyti funkcines skilteles iš geometrinių padėčių. Šia išsamia metodika siekiama nustatyti, ar funkciškai susijusios funkcijos aktyvinimo erdvėje turi erdvinį grupavimą.
Plataus masto „galaktikos“ struktūros analizė SAE ypatybių taškiniame debesyje atskleidžia skirtingus modelius, kurie skiriasi nuo paprasto izotropinio Gauso pasiskirstymo. Išnagrinėjus pirmuosius tris pagrindinius komponentus, matyti, kad taškinis debesis turi asimetrines formas, kurių plotis skiriasi išilgai skirtingų pagrindinių ašių. Ši struktūra yra panaši į biologines nervines organizacijas, ypač į žmogaus smegenų asimetrinį formavimąsi. Šios išvados rodo, kad funkcijų erdvė palaiko organizuotą, neatsitiktinį pasiskirstymą net ir didžiausiu analizės mastu.
Daugialypė SAE taškinių debesų analizė atskleidžia tris skirtingus struktūrinio organizavimo lygius. Atominiame lygmenyje geometriniai raštai išryškėja lygiagrečių ir trapecijų pavidalu, vaizduojančių semantinius ryšius, ypač kai pašalinamos išblaškančios savybės. Vidutinis lygis demonstruoja funkcinį moduliškumą, panašų į biologines nervų sistemas, su specializuotais regionais konkrečioms užduotims, tokioms kaip matematika ir kodavimas. Galaktikos masto struktūra pasižymi neizotropiniu pasiskirstymu su būdingu savųjų verčių galios dėsniu, ryškiausiu viduriniuose sluoksniuose. Šios išvados žymiai pagerina supratimą apie tai, kaip kalbos modeliai organizuoja ir reprezentuoja informaciją įvairiose skalėse.
Patikrinkite Popierius. Visi nuopelnai už šį tyrimą tenka šio projekto tyrėjams. Taip pat nepamirškite sekti mūsų Twitter ir prisijunk prie mūsų Telegramos kanalas ir LinkedIn group. Jei jums patinka mūsų darbai, jums patiks ir mūsų darbai naujienlaiškis.. Nepamirškite prisijungti prie mūsų 55k+ ML SubReddit.
(Tendencijos) „LLMWare“ pristato „Model Depot“: platų mažų kalbų modelių (SLM) kolekciją „Intel“ kompiuteriams
Asjadas yra „Marktechpost“ konsultantas. Jis tęsia mechanikos inžinerijos bakalauro laipsnį Indijos technologijos institute Kharagpur mieste. Asjadas yra mašininio mokymosi ir gilaus mokymosi entuziastas, nuolat tyrinėjantis mašininio mokymosi taikymą sveikatos priežiūros srityje.
Klausykite mūsų naujausių AI podcast'ų ir AI tyrimų vaizdo įrašų čia ➡️
