Grafiniai neuroniniai tinklai tapo transformuojančia jėga daugelyje realių programų, nuo įmonių finansų rizikos valdymo iki vietinio srauto prognozavimo. Taigi negalima teigti, kad daug tyrimų ilgą laiką buvo sutelkta į GNN. Tačiau reikšmingas dabartinio tyrimo apribojimas yra jo priklausomybė nuo duomenų – daugiausia dėmesio skiriant prižiūrimoms ir pusiau prižiūrimoms paradigmoms, tyrimo potencialas priklauso nuo pagrindinės tiesos prieinamumo, o šis reikalavimas dažnai netenkinamas. Kita faktinių etikečių retumo priežastis yra būdingas pačių GNN pobūdis. Kadangi grafikas yra realaus pasaulio abstrakcija, jis nėra toks paprastas kaip vaizdo įrašas, vaizdas ar tekstas, reikalaujantis ekspertų žinių ir patirties.
Atsižvelgdami į vyraujančius iššūkius ir didėjančias išlaidas sprendžiant prižiūrimų grafikų paradigmas, mokslininkai pradėjo suktis link neprižiūrimo kontrastinio mokymosi. Jis veikia remiantis abipuse informacija tarp skirtingų papildytų grafiko rodinių, sugeneruotų trikdant jo mazgus, kraštus ir funkcijas. Nors šis metodas yra perspektyvus ir pašalina etikečių būtinybę, ne visada įmanoma patvirtinti, ar etiketės ir semantika lieka nepakitę po papildymo, o tai žymiai sumažina grafikų našumą. Norėdami suprasti žalingą padidinimo poveikį, paimkime mazgo pavyzdį. Galima pridėti arba ištrinti esamo grafiko mazgą, kuris arba prideda triukšmą, arba pašalina informaciją, ir tai yra žalinga. Todėl esami statinio grafo kontrastinio mokymosi metodai gali būti neoptimalūs dinaminiams grafams. Šiame straipsnyje aptariami naujausi tyrimai, kuriuose teigiama, kad kontrastinis mokymasis apibendrina dinaminius grafikus.
Tyrėjai iš Xi'an Jiaotong universiteto (Kinija) pristatė CLDG – veiksmingą neprižiūrimą kontrastinio mokymosi sistemą dinaminiame grafike, kuri atlieka vaizdavimo mokymąsi diskrečiuose ir nuolatinio laiko dinaminiuose grafikuose. Tai išsprendžia laikotarpių kaip kontrastinių porų pasirinkimo dilemą, taikant kontrastinį mokymąsi dinaminiams grafikams. CLDG yra lengvas ir labai keičiamo dydžio algoritmas, dėl jo paprastumo. Vartotojai gauna mažesnį laiko ir erdvės sudėtingumą ir galimybę rinktis iš daugybės kodavimo įrenginių.
Siūloma sistema susideda iš penkių pagrindinių komponentų:
- laiko intervalo peržiūros atrankos sluoksnis
- bazinis kodavimo įrenginys
- nuskaitymo funkcija
- projekcijos galvutė
- kontrastinio praradimo funkcija
Pirmiausia tyrimo grupė sukūrė kelis vaizdus iš nuolatinių dinaminių grafikų, naudodama laiko intervalo rodinių atrankos metodą. Čia rodinio atrankos sluoksnis ištraukia laikinai išliekančius signalus. Tada jie sužinojo apie mazgų ir apylinkių ypatybes, naudodamiesi bendro svorio koduotuvu, nuskaitymo funkcija ir projekcijos galvute. Nuskaitymo funkcijos sluoksniui autoriai naudojo statistiniais duomenimis pagrįstus metodus, tokius kaip vidurkis, maksimalus ir sumavimas.
Svarbi įžvalga, kurią reikia aptarti šiuo metu, yra laiko vertimo nekintamumas. Atsižvelgiant į tai, pastebima, kad nepaisant treniruotėms naudojamo kodavimo, to paties mazgo numatymo etiketės skirtingais laikotarpiais yra panašios. Straipsnyje buvo pateikti du atskiri vietinio ir pasaulinio lygio kontrastiniai nuostoliai, siekiant išlaikyti laiko vertimo invarianciją abiejuose lygiuose. Vietinio lygmens laiko vertimo invariacijoje semantika buvo traktuojama kaip teigiamos poros vienam mazgui per visą laiko tarpą, o tai priartino tuos pačius mazgų vaizdus ir atskyrė skirtingus mazgus. Atvirkščiai, praradimas dėl pasaulinio invariantiškumo sujungė skirtingus mazgus ir pašalino tą patį vaizdą. Vadovaudamiesi tuo, kas išdėstyta pirmiau, autoriai sukūrė keturias skirtingas laiko intervalo rodinių atrankos strategijas, kad ištirtų optimalų kontrastinių porų peržiūros intervalo atstumo pasirinkimą. Šios strategijos skyrėsi fiziniu ir laiko persidengimu, todėl turėjo skirtingą semantinį kontekstą.
Straipsnyje patvirtintas CLDG septyniuose realaus pasaulio dinaminių grafikų duomenų rinkiniuose ir dvylikoje bazinių linijų. Siūlomas metodas pranoko aštuonis neprižiūrimus naujausius bazinius lygius ir buvo prilygintas likusiems keturiems pusiau prižiūrimiems metodams. Be to, palyginti su esamais grafikų metodais, CLDG sumažino modelio parametrus vidutiniškai 2000 kartų, o mokymo laiką – 130 kartų.
Išvada: CLDG yra praktiška, lengva sistema, kuri apibendrina kontrastinį mokymąsi į dinaminius grafikus. Jame naudojama papildoma laiko informacija ir pasiekiamas moderniausias neprižiūrimų dinaminių grafikų technikų našumas, o konkuruojant su pusiau prižiūrimais metodais.
Patikrinkite į Popierius ir „GitHub“ puslapis. Visi nuopelnai už šį tyrimą tenka šio projekto tyrėjams. Taip pat nepamirškite sekti mūsų Twitter ir prisijunk prie mūsų Telegramos kanalas ir LinkedIn group. Nepamirškite prisijungti prie mūsų 60k+ ML SubReddit.
🚨 Populiarumas: LG AI tyrimų išleidimas EXAONE 3.5: trys atvirojo kodo dvikalbiai AI lygio modeliai, teikiantys neprilygstamas instrukcijas ir ilgą konteksto supratimą, kad būtų pasaulinė lyderystė kuriant AI tobulumą….
Adeeba Alam Ansari šiuo metu siekia dvigubo laipsnio Indijos technologijos institute (IIT) Kharagpur ir įgijo pramonės inžinerijos bakalauro laipsnį ir finansų inžinerijos magistro laipsnį. Labai domisi mašininiu mokymusi ir dirbtiniu intelektu, ji yra aistringa skaitytoja ir smalsi asmenybė. Adeeba tvirtai tiki technologijų galia įgalinti visuomenę ir skatinti gerovę per novatoriškus sprendimus, kuriuos skatina empatija ir gilus realaus pasaulio iššūkių supratimas.
🧵🧵 (Atsisiųsti) Didelių kalbų modelio pažeidžiamumo ataskaitos įvertinimas (reklamuojamas)
