„LLMWare“ pristato „Model Depot“: platų mažų kalbų modelių (SLM) kolekciją „Intel“ kompiuteriams

LLMWare.ai, mažų kalbų modelių (SLM) diegimo ir tobulinimo pradininkas, šiandien paskelbė, kad Hugging Face yra modelių saugykla, viena didžiausių SLM kolekcijų, optimizuotų Intel asmeniniams kompiuteriams. Turėdamas daugiau nei 100 modelių, apimančių įvairius naudojimo atvejus, pvz., pokalbių, kodavimo, matematikos, funkcijų skambučių ir įterpimo modelius, „Model Depot“ siekia atvirojo kodo AI bendruomenei pateikti precedento neturintį naujausių SLM, optimizuotų „Intel“ kompiuteriams. Intel OpenVINO ir ONNX formatuose.

Naudodami LLMWare modelių saugyklą kartu su LLMWare atvirojo kodo biblioteka, kuri suteikia visą įrankių rinkinį, skirtą visapusiškam AI įgalintų darbo eigų kūrimui, kūrėjai gali sukurti papildytos kartos (RAG) ir agentais pagrįstas darbo eigas naudodami SLM OpenVINO formatu, skirtą Intel. aparatūros naudotojai. OpenVINO yra atvirojo kodo biblioteka, skirta optimizuoti ir diegti gilaus mokymosi modelio išvadų galimybes, įskaitant didelių ir mažų kalbų modelius. Specialiai sukurta siekiant sumažinti išteklių poreikį, kad būtų galima efektyviai naudoti įvairiose platformose, įskaitant įrenginiuose esančius ir dirbtinio intelekto kompiuterius.

Panašiai ONNX teikia atvirojo kodo AI modelių formatą, tiek gilaus mokymosi, tiek tradicinio ML, šiuo metu daugiausia dėmesio skiriant galimybėms, reikalingoms išvadoms daryti. ONNX galima rasti daugelyje struktūrų, įrankių ir aparatinės įrangos ir siekiama užtikrinti skirtingų sistemų sąveiką.

Neseniai paskelbtoje baltojoje knygoje LLMWare nustatė, kad 4 bitų kvantuotų mažų kalbų modelių (1B-9B parametrų) įdiegimas OpenVINO formatu maksimaliai padidina modelio išvadų našumą Intel AI kompiuteriuose. Išbandžius „Dell“ nešiojamąjį kompiuterį su „Intel Core Ultra 9“ („Meteor Lake“), naudojant 1,1 B parametro BLING-Tiny-Llama modelį, OpenVINO kvantuotas formatas leido padaryti išvadų greitį, kuris yra iki 7,6 karto greitesnis nei „PyTorch“ ir iki 7,5 karto. greičiau nei GGUF.

Palyginimui nuosekliai naudojamas LLMWare 21 klausimo RAG testas. Apdorojimo laikas rodo bendrą visų 21 klausimo vykdymo laiką:

Išsamią informaciją apie LLMWare testavimo metodiką rasite baltojoje knygoje.

LLMWare tikslas yra suteikti galingą abstrakcijos sluoksnį darbui su įvairiomis išvadų galimybėmis. Palaikydami „OpenVINO“, „ONNX“ ir „Llama.cpp“ vienoje platformoje, kūrėjai gali panaudoti modelių formatus, kurie yra našiausi, atsižvelgiant į konkrečias numatomų vartotojų aparatinės įrangos galimybes. Naudodami „Model Depot“ „Intel“ kompiuterių kūrėjai gali pasiekti SLM, specialiai optimizuotus daryti išvadas apie „Intel“ aparatinę įrangą.

Teikti OpenVINO ir ONNX palaikymą populiariausiems SLM šiandien, įskaitant „Microsoft Phi-3“, „Mistal“, „Llama“, „Yi“ ir „Qwen“, taip pat „LLMWare“ specializuotas funkcijas, iškviečiančias SLIM modelius, sukurtus kelių etapų darbo eigoms, ir RAG specializuotą DRAGON ir BLING modelių šeimą, LLMWare suteikia kūrėjams SLM, kad jie galėtų lengvai ir sklandžiai kurti produktyvumą didinančias darbo eigas, kurios maksimaliai padidina vietines AI kompiuterių galimybes.

Optimizuoti naudojant galingus integruotus GPU ir NPU, suteikiančius aparatinės įrangos galimybes, leidžiančias DI programėles diegti įrenginyje, DI kompiuteriai leidžia įmonėms vietoje įdiegti daug lengvų AI programų, neatskleidžiant jautrių duomenų arba nereikia kopijuoti duomenų išorinėse sistemose. Tai atskleidžia didžiulę naudą dėl papildomo saugumo, saugos ir daug sutaupytų išlaidų.

„LLMWare“ taip pat neseniai paskelbė apie savo strateginį bendradarbiavimą su „Intel“, pristatydama „Model HQ“ ribotą leidimą privačiai peržiūrai. Specialiai sukurtas dirbtinio intelekto kompiuteriams su „Intel Core Ultra“ procesoriais, „Model HQ“ yra paruoštas be kodo rinkinys, skirtas paleisti, kurti ir įdiegti AI palaikytas programas su integruota vartotojo sąsaja / UX ir mažo kodo agento darbo eiga, kad programa būtų paprasta. kūryba. Su integruotomis „Chatbot“ ir dokumentų paieškos bei analizės funkcijomis programėlė paruošta naudoti ir leidžia paleisti pasirinktines darbo eigas tiesiai įrenginyje. Modelis HQ taip pat aprūpintas daugybe įmonėms paruoštų saugos ir saugos funkcijų, pvz., „Model Vault“ modelio saugumo patikrinimams, „Model Safety Monitor“, skirtas toksiškumo ir šališkumo patikrinimui, haliucinacijų detektorius, AI paaiškinamumo duomenys, atitikties ir audito įrankių rinkinys, privatumo filtrai ir daug daugiau.

„Mes „LLMWare“ tvirtai tikime, kad dirbtinio intelekto svorio centras yra sumažinamas, kad būtų galima įdiegti vietinį, privatų, decentralizuotą, savarankišką diegimą – naudojant aukštos kokybės modelius ir duomenų perdavimo kanalus, optimizuotus saugiam, kontroliuojamam, ekonomiškam lengvo svorio modelio diegimui. , pritaikytos RAG, agento ir pokalbių programos visų dydžių įmonėms. Džiaugiamės galėdami pristatyti atvirojo kodo „Model Depot“ kolekciją, kad galėtume išplėsti prieigą prie „OpenVino“ ir ONNX supakuotų modelių, kad per ateinančius mėnesius palaikytume AI PC diegimą“, – sakė Darrenas Oberstas, LLMWare vyriausiasis technologijų pareigūnas.

„Rise of Generative AI atveria naujas taikomąsias programas, kurių nebuvo galima naudoti naudojant ankstesnių kartų duomenų apdorojimo algoritmus. Unikalus galingos dirbtinio intelekto kompiuterio platformos ir optimizavimo programinės įrangos, tokios kaip OpenVINO, derinys yra būdas gauti geriausias vietinių ir privačių LLM diegimo charakteristikas negalvojant apie optimizavimo detales. LLMWare platforma žengia žingsnį toliau, leisdama naudoti programinės įrangos kūrimo blokus ir iš anksto paruoštus modelius, kad būtų galima apdoroti duomenis galutinėje programoje ir sutaupyti laiko pateikimui į rinką. „OpenVINO“ ir „LLMWare“ platformos derinys tikrai atrakina geriausiai veikiančias „Generative AI“ galimybes taikomųjų programų pakraščiuose“, – sakė „Intel“ bendradarbis ir „OpenVINO“ architektas Jurijus Gorbačiovas.

Apsilankykite LLMWare Github ir Hugging Face svetainėse, kur rasite išsamią atvirojo kodo biblioteką ir mažų kalbų modelių rinkinį, taip pat llmware.ai, kad gautumėte naujausią dokumentą ir tinklaraščius.

Dėkojame AI Bloks už minties lyderystę / mokomąjį straipsnį. AI Bloks palaikė mus šiame turinyje / straipsnyje.

Asif Razzaq yra „Marktechpost Media Inc.“ generalinis direktorius. Kaip verslininkas ir inžinierius, Asif yra įsipareigojęs panaudoti dirbtinio intelekto potencialą socialinei gerovei. Naujausias jo siekis yra dirbtinio intelekto medijos platformos „Marktechpost“ paleidimas, kuri išsiskiria išsamia mašininio mokymosi ir gilaus mokymosi naujienomis, kurios yra techniškai pagrįstos ir lengvai suprantamos plačiajai auditorijai. Platforma gali pasigirti daugiau nei 2 milijonais peržiūrų per mėnesį, o tai rodo jos populiarumą tarp auditorijos.