Grafiniai neuroniniai tinklai (GNN) yra sparčiai besivystanti mašininio mokymosi sritis, specialiai sukurta analizuoti grafinės struktūros duomenis, vaizduojančius objektus ir jų ryšius. Šie tinklai buvo plačiai naudojami socialinių tinklų analizėje, rekomendacijų sistemose ir molekulinių duomenų interpretavimo programose. GNN pogrupyje, dėmesiu pagrįsti grafiniai neuroniniai tinklai (AT-GNN), naudojami dėmesio mechanizmai, skirti pagerinti nuspėjimo tikslumą ir aiškinamumą, pabrėžiant svarbiausius duomenų ryšius. Tačiau jų skaičiavimo sudėtingumas kelia didelių iššūkių, ypač efektyviai naudojant GPU mokymui ir išvadoms.
Viena iš reikšmingų AT-GNN mokymo problemų yra neefektyvumas, kurį sukelia fragmentuotos GPU operacijos. Skaičiavimas apima kelis sudėtingus veiksmus, tokius kaip dėmesio balų apskaičiavimas, šių balų normalizavimas ir funkcijų duomenų kaupimas, dėl kurių reikia dažnai paleisti branduolį ir perkelti duomenis. Esamos sistemos turi prisitaikyti prie realaus pasaulio grafikų struktūrų nevienalytiškumo, dėl kurio atsiranda darbo krūvio disbalansas ir sumažėja mastelio keitimas. Problemą dar labiau apsunkina supermazgai – mazgai su neįprastai dideliais kaimynais – kurie apkrauna atminties išteklius ir kenkia našumui.
Esamos GNN sistemos, tokios kaip PyTorch Geometric (PyG) ir Deep Graph Library (DGL), bando optimizuoti operacijas naudojant branduolio sintezę ir gijų planavimą. Tokios technologijos kaip Seastar ir dgNN pagerino retas operacijas ir bendrą GNN darbo krūvį. Tačiau šie metodai remiasi fiksuotomis lygiagrečiomis strategijomis, kurios negali dinamiškai prisitaikyti prie unikalių AT-GNN skaičiavimo poreikių. Pavyzdžiui, jiems reikia pagalbos dėl netinkamo gijų panaudojimo ir visiškai išnaudoja branduolio suliejimo pranašumus, kai susiduria su grafų struktūromis, kuriose yra super mazgų arba netaisyklingų skaičiavimo modelių.
Šanchajaus Jiao Tong universiteto ir „Amazon Web Services“ tyrimų grupė pasiūlė DF-GNN – dinaminę sintezės sistemą, specialiai sukurtą optimizuoti AT-GNN vykdymą GPU. Integruotas su PyTorch sistema, DF-GNN pristato naujovišką dviejų lygių gijų planavimo mechanizmą, kuris leidžia dinamiškai koreguoti gijų paskirstymą. Šis lankstumas užtikrina, kad tokios operacijos kaip „Softmax“ normalizavimas ir retosios matricos dauginimas būtų vykdomos optimaliai išnaudojant giją, o tai žymiai pagerina našumą. DF-GNN pašalina neefektyvumą, susijusį su statinio branduolio suliejimo technikomis, leisdamas kiekvienai operacijai skirtingas planavimo strategijas.
DF-GNN naudoja dvi pagrindines sintezės strategijas: bendrosios atminties maksimizavimo sintezę (SMMF) ir paralelizmo maksimizavimo sintezę (PMF). SMMF sujungia operacijas į vieną branduolį, optimizuodamas atminties naudojimą, saugodamas tarpinius rezultatus bendrojoje atmintyje ir taip sumažindamas duomenų judėjimą. Ir atvirkščiai, PMF sutelkia dėmesį į grafikus su super mazgais, kur kraštų lygiagrečios strategijos pranoksta lygiagrečias mazgas. Be to, sistemoje pateikiami pritaikyti optimizavimai, pvz., subalansuotas kraštinių skaičiavimų planavimas, be pertekliaus „Softmax“, kad būtų išvengta pasikartojančių skaičiavimų, ir vektorizuota atminties prieiga, siekiant sumažinti visuotinės atminties išlaidas. Šios funkcijos užtikrina efektyvų pirmyn ir atgal atliekamų skaičiavimų apdorojimą, palengvindamos treniruočių pagreitį iki galo.
Išsamūs vertinimai rodo nepaprastą DF-GNN našumo padidėjimą. Visuose diagramų duomenų rinkiniuose, tokiuose kaip „Cora“ ir „Citeseer“, DF-GNN pasiekė vidutinį greitį 16,3x palyginti su negausia DGL biblioteka, o didžiausias patobulinimas yra iki 7x apie branduolio operacijas. Paketinių diagramų duomenų rinkiniuose, įskaitant aukšto laipsnio grafikus, pvz., PATTERN, jis suteikė vidutinį greitį 3,7 kartoaplenkdamas konkurentus, tokius kaip cuGraph ir dgNN, kurie pasiekė tik 2,4x ir 1,7 kartoatitinkamai. Be to, DF-GNN pasižymėjo puikiu pritaikomumu super mazgų apkrautuose duomenų rinkiniuose, tokiuose kaip Reddit ir Protein, pasiekdamas vidutinį 2,8 karto pagreitinti, išlaikant patikimą atminties naudojimą. Sistemos pralaidumo panaudojimas išliko nuolat didelis, užtikrinant optimalų našumą įvairiuose grafikų dydžiuose ir struktūrose.
Be branduolio lygio patobulinimų, DF-GNN taip pat pagreitina mokymo darbų eigą iki galo. Paketinių diagramų duomenų rinkiniuose jis pasiekė vidutinį greitį 1,84x Visoms treniruočių epochoms, pasiekus individualių perdavimų į priekį patobulinimus 3,2x. Greitis pratęstas iki 2,6 karto visose diagramų duomenų rinkiniuose, pabrėžiant DF-GNN efektyvumą tvarkant įvairius darbo krūvius. Šie rezultatai pabrėžia sistemos gebėjimą dinamiškai prisitaikyti prie skirtingų skaičiavimo scenarijų, todėl tai yra universalus įrankis didelės apimties GNN programoms.
Spręsdamas įgimtą AT-GNN mokymo GPU neefektyvumą, DF-GNN pristato visapusišką sprendimą, kuris dinamiškai prisitaiko prie skirtingų skaičiavimo ir grafiko charakteristikų. Pašalinus tokias svarbias kliūtis kaip atminties panaudojimas ir gijų planavimas, ši sistema nustato naują GNN optimizavimo etaloną. Jo integracija su PyTorch ir įvairių duomenų rinkinių palaikymas užtikrina platų pritaikomumą ir sudaro sąlygas greitesnėms, efektyvesnėms grafinėmis mokymosi sistemomis.
Patikrinkite Popierius. Visi nuopelnai už šį tyrimą tenka šio projekto tyrėjams. Taip pat nepamirškite sekti mūsų Twitter ir prisijunk prie mūsų Telegramos kanalas ir LinkedIn group. Jei jums patinka mūsų darbai, jums patiks ir mūsų darbai naujienlaiškis.. Nepamirškite prisijungti prie mūsų 55k+ ML SubReddit.
🎙️ 🚨 „Didelių kalbos modelio pažeidžiamumų įvertinimas: lyginamoji raudonųjų komandų sudarymo metodų analizė“ Skaitykite visą ataskaitą (Paaukštintas)
Nikhilas yra „Marktechpost“ konsultantas. Indijos technologijos institute Charagpūre jis siekia integruoto dvigubo medžiagų studijų laipsnio. Nikhilas yra AI / ML entuziastas, kuris visada tiria pritaikymą tokiose srityse kaip biomedžiagos ir biomedicinos mokslas. Turėdamas tvirtą medžiagų mokslo išsilavinimą, jis tyrinėja naujus pasiekimus ir kuria galimybes prisidėti.
🧵🧵 (Atsisiųsti) Didelių kalbų modelio pažeidžiamumo ataskaitos įvertinimas (reklamuojamas)
