Didžiosios kalbos modeliai (LLM) tapo pagrindine dirbtinio intelekto dalimi, aprūpinantys įvairias programas nuo pokalbių robotų iki turinio generavimo įrankių. Tačiau jų platinimas kelia didelių iššūkių. Didelės skaičiavimo sąnaudos, delsa ir energijos suvartojimas dažnai riboja platesnį jų naudojimą. Organizacijos susiduria su sunkumais suderindamos didelį pralaidumą su pagrįstomis veiklos išlaidomis. Be to, modeliams augant, efektyvesnių sprendimų poreikis tampa vis aktualesnis. Spręsti šias problemas būtina, kad LLM taptų praktiškesni ir prieinamesni.
„Snowflake AI Research“ komanda pristato „SwiftKV“ – sprendimą, skirtą padidinti LLM išvadų pralaidumą ir sumažinti susijusias išlaidas. „SwiftKV“ naudoja raktų reikšmių talpyklos metodus, kad pakartotinai panaudotų tarpinius skaičiavimus darant išvadas. Pašalinus perteklinius skaičiavimus, jis supaprastina išvadų procesą ir daro LLM diegimą efektyvesnį.
„SwiftKV“ dizainas orientuotas į LLM skaičiavimo intensyvumą. Įprasti išvadų vamzdynai dažnai perskaičiuoja identiškas operacijas kelioms užklausoms, todėl atsiranda neveiksmingumo. „SwiftKV“ pristato talpyklos sluoksnį, kuris identifikuoja ir saugo daugkartinio naudojimo skaičiavimo rezultatus. Šis metodas pagreitina išvadas ir sumažina išteklių poreikį, todėl tai yra praktiškas pasirinkimas organizacijoms, siekiančioms optimizuoti savo dirbtinio intelekto operacijas.
Techninė informacija ir pagrindiniai „SwiftKV“ pranašumai
„SwiftKV“ į LLM išvadų architektūrą įtraukia raktų vertės atminties sistemą. Jo veikimą galima apibendrinti taip:
- Rakto vertės kaupimas talpykloje: Išvados metu SwiftKV fiksuoja tarpinius aktyvavimus (raktus) ir atitinkamus jų rezultatus (reikšmes). Panašių užklausų atveju ji nuskaito iš anksto apskaičiuotas reikšmes, o ne jas perskaičiuoja.
- Efektyvus saugyklos valdymas: talpyklos mechanizmas naudoja tokias strategijas kaip mažiausiai neseniai naudotas (LRU) iškeldinimas, kad būtų galima efektyviai valdyti atmintį ir užtikrinti, kad talpykla išliktų naudinga be pernelyg didelio išteklių naudojimo.
- Sklandi integracija: „SwiftKV“ yra suderinamas su esamomis LLM sistemomis, tokiomis kaip „Hugging Face's Transformers“ ir „Meta“ LLaMA, todėl galima lengvai pritaikyti be reikšmingų esamų vamzdynų pakeitimų.
„SwiftKV“ pranašumai yra šie:
- Išlaidų mažinimas: Vengdama perteklinių skaičiavimų, „SwiftKV“ žymiai sumažina išvadų sąnaudas. „Snowflake AI Research“ praneša, kad pagal kai kuriuos scenarijus išlaidos sumažėjo iki 75%.
- Padidintas pralaidumas: talpyklos mechanizmas sumažina išvados laiką, pagerindamas atsako greitį.
- Energijos taupymas: Mažesni skaičiavimo poreikiai sumažina energijos suvartojimą, palaiko tvarią AI praktiką.
- Mastelio keitimas: SwiftKV puikiai tinka didelio masto diegimams, tenkinant įmonių, plečiančių savo AI galimybes, poreikius.

Rezultatai
„Snowflake AI Research“ „SwiftKV“ vertinimai suteikia vertingų įžvalgų apie jos efektyvumą. Pavyzdžiui, „SwiftKV“ integravimas su „Meta“ LLaMA modeliais leido iki 75 % sumažinti išvadų sąnaudas, nepažeidžiant tikslumo ar našumo. Šie rezultatai išryškina taikant šį metodą galimą efektyvumo padidėjimą.
Be to, bandymai rodo reikšmingą išvadų delsos sumažėjimą net ir didesniuose modeliuose. Talpyklos sistema užtikrina, kad sudėtingos užklausos būtų greičiau apdorotos. Dėl šio ekonomiškumo ir našumo optimizavimo derinio „SwiftKV“ yra patrauklus pasirinkimas organizacijoms, siekiančioms nebrangiai pritaikyti dirbtinio intelekto sprendimus.
Atviras SwiftKV šaltinis skatina bendradarbiavimą dirbtinio intelekto bendruomenėje. Dalindamasi šia technologija, „Snowflake AI Research“ kviečia kūrėjus, tyrėjus ir įmones ištirti ir tobulinti savo galimybes, skatinant naujoves LLM efektyvumo srityje.

Išvada: žingsnis į priekį LLM efektyvumo srityje
„SwiftKV“ siūlo apgalvotą LLM diegimo iššūkių sprendimą. Spręsdamas dideles skaičiavimo išlaidas ir delsą, jis padeda dirbtinio intelekto programas padaryti praktiškesnes ir prieinamesnes. Raktų verčių talpyklos įtraukimas į išvadų vamzdynus parodo, kaip tikslingas optimizavimas gali paskatinti reikšmingus patobulinimus.
Tobulėjant dirbtinio intelekto sričiai, tokie įrankiai kaip SwiftKV ir toliau formuoja efektyvių ir tvarių technologijų plėtrą. Jo atvirojo kodo pobūdis užtikrina, kad platesnė bendruomenė gali prisidėti prie jos augimo ir taikymo. Suteikdama galimybę ekonomiškiau ir labiau išplėsti LLM naudojimą, „SwiftKV“ pabrėžia naujovių svarbą, kad dirbtinis intelektas būtų tikrai transformuojantis tiek įmonėms, tiek kūrėjams.
Patikrinkite Išsamią informaciją ir „GitHub“ puslapį. Visi nuopelnai už šį tyrimą tenka šio projekto tyrėjams. Taip pat nepamirškite sekti mūsų Twitter ir prisijunk prie mūsų Telegramos kanalas ir LinkedIn group. Nepamirškite prisijungti prie mūsų 65k+ ML SubReddit.
🚨 (Rekomenduojama skaityti) „Nebius AI Studio“ plečiasi regėjimo modeliais, naujais kalbos modeliais, įterpimais ir LoRA (Paaukštintas)

Asif Razzaq yra „Marktechpost Media Inc.“ generalinis direktorius. Kaip verslininkas ir inžinierius, Asif yra įsipareigojęs panaudoti dirbtinio intelekto potencialą socialinei gerovei. Naujausias jo siekis yra dirbtinio intelekto medijos platformos „Marktechpost“ paleidimas, kuri išsiskiria išsamia mašininio mokymosi ir gilaus mokymosi naujienomis, kurios yra techniškai pagrįstos ir lengvai suprantamos plačiajai auditorijai. Platforma gali pasigirti daugiau nei 2 milijonais peržiūrų per mėnesį, o tai rodo jos populiarumą tarp auditorijos.
📄 Susipažinkite su „Aukštis”: vienintelis savarankiškas projektų valdymo įrankis (remiama)