Natūralios kalbos apdorojimas (NLP) per pastaruosius kelerius metus sparčiai vystėsi, o transformatoriai atsirado kaip žaidimą keičianti naujovė. Tačiau vis dar kyla didelių iššūkių naudojant NLP įrankius kuriant programas tokioms užduotims kaip semantinė paieška, atsakymas į klausimus ar dokumentų įterpimas. Viena iš pagrindinių problemų buvo poreikis modelių, kurie ne tik gerai veiktų, bet ir efektyviai veiktų įvairiuose įrenginiuose, ypač tuose, kurių skaičiavimo ištekliai yra riboti, pvz., CPU. Modeliams paprastai reikia didelės apdorojimo galios, kad būtų pasiektas didelis tikslumas, ir dėl šio kompromiso kūrėjai dažnai pasirenka našumą ir praktiškumą. Be to, didelių modelių su specializuotomis funkcijomis diegimas gali būti sudėtingas dėl saugyklos apribojimų ir brangių prieglobos reikalavimų. Reaguodama į tai, būtina nuolat diegti NLP priemones, kad jos būtų veiksmingesnės, ekonomiškesnės ir pritaikytos platesnei auditorijai.
Apkabinantis veidą ką tik išleistas Sentence Transformers v3.3.0
Hugging Face ką tik išleistas Sakinio transformatoriai v3.3.0ir tai yra svarbus atnaujinimas su reikšminga pažanga! Šioje naujausioje versijoje yra daug funkcijų, kurios pašalina našumo kliūtis, pagerina naudojimą ir siūlo naujas mokymo paradigmas. Pažymėtina, kad 3.3.0 versijos naujinimas suteikia novatorišką 4,5 karto pagreitį procesoriaus išvadoms, integruodamas OpenVINO int8 statinį kvantavimą. Taip pat yra papildymų, palengvinančių mokymą, naudojant raginimus padidinti našumą, integruoti parametrų efektyvaus tikslaus derinimo (PEFT) metodus ir sklandžias vertinimo galimybes per NanoBEIR. Leidimas parodo Hugging Face įsipareigojimą ne tik pagerinti tikslumą, bet ir didinti skaičiavimo efektyvumą, todėl šie modeliai tampa prieinamesni įvairiais naudojimo atvejais.
Techninė informacija ir privalumai
Techniniai „Sentence Transformers“ v3.3.0 patobulinimai susiję su modelių pritaikymu praktiškesniais, išlaikant aukštą tikslumo lygį. „OpenVINO Post-Training Static Quantization“ integracija leidžia modeliams veikti 4,78 karto greičiau CPU, o vidutinis našumo sumažėjimas yra tik 0,36%. Tai žaidimų keitiklis, skirtas kūrėjams, diegiantiems CPU pagrindu veikiančiose aplinkose, pvz., pažangiuose įrenginiuose ar standartiniuose serveriuose, kur GPU ištekliai yra riboti arba nepasiekiami. Naujas metodas, export_static_quantized_openvino_modelbuvo įvestas, kad kvantavimas būtų paprastas.
Kitas svarbus bruožas yra mokymų su raginimais įvedimas. Paprasčiausiai įtraukus tokias eilutes kaip „query:“ arba „document:“ kaip raginimus treniruočių metu, paieškos užduočių našumas žymiai pagerėja. Pavyzdžiui, eksperimentai rodo, kad NDCG@10, reitingavimo kokybės vertinimo metrika, pagerėjo nuo 0,66 % iki 0,90 % be jokių papildomų skaičiavimo išlaidų. Pridėjus PEFT palaikymą, dabar bazinių modelių treniruočių adapteriai yra lankstesni. PEFT leidžia efektyviai apmokyti specializuotus komponentus, sumažinti atminties poreikį ir pigiai įdiegti kelias konfigūracijas iš vieno bazinio modelio. Buvo pristatyti septyni nauji adapterių pridėjimo arba įkėlimo būdai, todėl lengva valdyti skirtingus adapterius ir sklandžiai perjungti juos.
Kodėl šis leidimas yra svarbus
3.3.0 versija atitinka neatidėliotinus NLP specialistų poreikius, siekiant suderinti efektyvumą, našumą ir patogumą naudoti. OpenVINO kvantavimo įdiegimas yra labai svarbus transformatorių modelių diegimui gamybinėse aplinkose, kuriose yra ribotos aparatinės įrangos galimybės. Pavyzdžiui, apie 4,78 karto padidintą greitį, pagrįstą procesoriaus išvadomis, galima naudoti aukštos kokybės įterpimus realiojo laiko programose, kur anksčiau skaičiavimo kaštai būtų buvę pernelyg dideli. Greitas mokymas taip pat parodo, kaip palyginti nedideli koregavimai gali duoti reikšmingą našumo padidėjimą. Nuo 0,66 % iki 0,90 % patobulintos paieškos užduotys yra puikus patobulinimas, ypač kai tai nereikalauja jokių papildomų išlaidų.
PEFT integracija leidžia padidinti mokymo ir modelių diegimo mastelį. Tai ypač naudinga aplinkoje, kurioje dalijamasi ištekliais arba reikia mokyti specializuotus modelius su minimalia skaičiavimo apkrova. Nauja galimybė įvertinti NanoBEIR, 13 duomenų rinkinių, skirtų paieškos užduotims, suteikia papildomo užtikrinimo, kad modeliai, parengti naudojant v3.3.0, gali gerai apibendrinti atliekant įvairias užduotis. Ši vertinimo sistema leidžia kūrėjams patvirtinti savo modelius pagal realaus pasaulio paieškos scenarijus, suteikiant palyginamąjį supratimą apie jų veikimą ir leidžiant lengvai stebėti patobulinimus laikui bėgant.
Išvada
„Sentence Transformers“ v3.3.0 leidimas iš „Hugging Face“ yra svarbus žingsnis į priekį, kad moderniausias NLP būtų prieinamesnis ir tinkamesnis įvairiose aplinkose. Dėl esminių procesoriaus greičio patobulinimų naudojant OpenVINO kvantavimą, greitą mokymą, kad pagerintumėte našumą be papildomų išlaidų, ir įdiegus PEFT, kad būtų galima geriau valdyti modelį, šis naujinimas pažymi visus tinkamus langelius kūrėjams. Tai užtikrina, kad modeliai būtų ne tik galingi, bet ir efektyvūs, universalūs ir lengviau integruojami į įvairius diegimo scenarijus. Hugging Face ir toliau stumia voką, todėl sudėtingos NLP užduotys tampa labiau įmanomos realioms programoms, kartu skatinant naujoves, kurios naudingos ir mokslininkams, ir pramonės profesionalams.
Patikrinkite „GitHub“ puslapis. Visi nuopelnai už šį tyrimą tenka šio projekto tyrėjams. Taip pat nepamirškite sekti mūsų Twitter ir prisijunk prie mūsų Telegramos kanalas ir LinkedIn group. Jei jums patinka mūsų darbai, jums patiks ir mūsų darbai naujienlaiškis.. Nepamirškite prisijungti prie mūsų 55k+ ML SubReddit.
(AI žurnalas / ataskaita) Skaitykite mūsų naujausią ataskaitą apieMAŽI KALBOS MODELIAI“
Asif Razzaq yra „Marktechpost Media Inc.“ generalinis direktorius. Kaip verslininkas ir inžinierius, Asif yra įsipareigojęs panaudoti dirbtinio intelekto potencialą socialinei gerovei. Naujausias jo siekis yra dirbtinio intelekto medijos platformos „Marktechpost“ paleidimas, kuri išsiskiria išsamia mašininio mokymosi ir gilaus mokymosi naujienomis, kurios yra techniškai pagrįstos ir lengvai suprantamos plačiajai auditorijai. Platforma gali pasigirti daugiau nei 2 milijonais peržiūrų per mėnesį, o tai rodo jos populiarumą tarp auditorijos.
Klausykite mūsų naujausių AI podcast'ų ir AI tyrimų vaizdo įrašų čia ➡️
