Teksto įterpimas ir perdavimas yra pagrindinės šiuolaikinės informacijos gavimo sistemos, maitinimo programos, tokios kaip semantinė paieška, rekomendacinės sistemos ir gavimo atvejų karta (RAG). Tačiau dabartiniai požiūriai dažnai susiduria su pagrindiniais iššūkiais, ypač siekiant aukšto daugiakalbio ištikimybės ir pritaikymo užduotims, nesiklijuojant patentuotomis API. Esamiems modeliams dažnai trūksta scenarijų, kuriems reikalingas niuansuotas semantinis supratimas keliomis kalbomis ar domeno specifinėmis užduotimis, tokiomis kaip kodo gavimas ir instrukcijos. Be to, daugumai atvirojo kodo modelių trūksta masto ar lankstumo, o komercinės API išlieka brangios ir uždarytos.
„Qwen3-Embedding“ ir „Qwen3-Reranker“: naujas atvirojo kodo įterpimo standartas
„Alibaba“ „Qwen“ komanda pristatė „QWEN3-Embedding“ ir „Qwen3-Reranker“ serijas-modelius, kurie nustatė naują etaloną daugiakalbiame teksto įterpimo ir aktualumo reitinge. Sukurtas pagal „Qwen3“ fondo modelius, serijoje yra 0,6B, 4B ir 8B parametrų dydžių variantai ir palaiko įvairias kalbas (iš viso 119), todėl tai yra vienas iš universaliausių iki šiol esančių atvirojo kodo pasiūlymų. Šie modeliai dabar yra atviri pagal „Apache 2.0“ licenciją dėl „Hugning Face“, „GitHub“ ir „ModelScope“, taip pat prieinami per „Alibaba Cloud API“.
Šie modeliai yra optimizuoti naudojimo atvejams, tokiems kaip semantinis gavimas, klasifikacija, skudurų, sentimentų analizė ir kodo paieška – teikiant stiprią esamų sprendimų alternatyvą, tokią kaip „Dvynių“ įdėjimas ir Openai įterpimo API.
Techninė architektūra
„Qwen3“ įterpimo modeliai priima tankią transformatorių pagrįstą architektūrą su priežastiniu dėmesiu, sukuriant įterptuvus, išgaunant paslėptą būseną, atitinkančią (EOS) žetoną. Instrukcijos supratimas yra pagrindinė savybė: įvesties užklausos yra suformatuotos kaip {instruction} {query}<|endoftext|>įgalina užduoties kondicionierių įterpimus. „Reranker“ modeliai yra mokomi dvejetainio klasifikavimo formatu, vertinant dokumento kvalifikacijos tinkamumą instrukcijų būdu, naudojant žetonų tikimybę pagrįstą taškų skaičiavimo funkciją.
Modeliai yra mokomi naudojant patikimą kelių etapų treniruočių vamzdyną:
- Didelio masto silpna priežiūra: 150M sintetinių treniruočių poros, sugeneruotos naudojant „QWEN3-32B“, apimančios gavimo, klasifikavimo, STS ir „Bitext“ kasybą įvairiomis kalbomis ir užduotimis.
- Prižiūrimas tobulinimas: 12m aukštos kokybės duomenų poros pasirenkamos naudojant kosinuso panašumą (> 0,7), tikslios derinimo našumą pasroviui skirtose programose.
- Modelio sujungimas: Sferinė linijinė daugybinių tiksliai sureguliuotų kontrolės punktų interpoliacija (SLERP) užtikrina tvirtumą ir apibendrinimą.
Šis sintetinio duomenų generavimo vamzdynas leidžia kontroliuoti duomenų kokybę, kalbos įvairovę, užduoties sunkumus ir dar daugiau-tai yra didelę aprėptį ir aktualumą esant mažai išteklių.
Spektaklio etalonai ir įžvalgos
„Qwen3-Embedding“ ir „Qwen3-Reranker“ serija demonstruoja stiprius empirinius rezultatus keliuose daugiakalbiuose etalonuose.
- Ant MMTEB (216 užduotys 250 ir daugiau kalbų), Qwen3-Embedding-8b pasiekia vidutinį užduoties balą 70.58„Gemini“ ir „GTE-QWEN2“ serijos pranokimas.
- ON MTEB (anglų v2): „Qwen3-Embedding-8B“ pasiekia 75.22pralenkia kitus atvirus modelius, įskaitant „NV-Imbed-V2“ ir „Gritlm-7b“.
- MTEB-kodas: „Qwen3-Embedding-8B“ laidai su 80.68tobulinant tokias programas kaip kodo gavimas ir „Stack Overflow QA“.
Dėl pakartotinio:
- „QWEN3-RERANKER-0.6B“ jau pralenkia Jina ir BGE perdirbėjus.
- „Qwen3-Reranker-8B“ pasiekia 81.22 ant MTEB-kodo ir 72.94 Dėl MMTEB-R žymėjimo šiuolaikiško našumo.
Abliacijos tyrimai patvirtina kiekvieno mokymo etapo būtinybę. Pašalinus sintetinį išankstinį pranešimą ar modelio sujungimą, MMTEB padidėjo reikšmingi našumo kritimai (iki 6 taškų), pabrėžiant jų indėlį.
Išvada
„Alibaba“ „Qwen3-Embedding“ ir „Qwen3-Reranker“ serija pateikia tvirtą, atvirą ir keičiamą keičiamą sprendimą daugiakalbiui ir instrukcijai suvokiančiam semantiniam vaizdavimui. Šie modeliai, turintys stiprių empirinių MTEB, MMTEB ir MTEB kodo rezultatų, užpildo atotrūkį tarp patentuotų API ir atvirojo kodo prieinamumo. Jų apgalvotas treniruočių dizainas-aukštos kokybės sintetinių duomenų, instrukcijų derinimo ir modelio sujungimas-juos apibūdina kaip idealius kandidatus į įmonių programas ieškant, paieškos ir RAG vamzdynus. Atvirai pateikdama šiuos modelius, „Qwen“ komanda ne tik peržengia kalbos supratimo ribas, bet ir suteikia platesnei bendruomenei įgyti naujovių naujoves ant tvirto pagrindo.
Peržiūrėkite popierių, techninę informaciją, „Qwen3-Embedding“ ir „Qwen3-Reranker“. Visas šio tyrimo kreditas skirtas šio projekto tyrėjams. Taip pat nedvejodami sekite mus „Twitter“ Ir nepamirškite prisijungti prie mūsų 95K+ ml subreddit ir užsiprenumeruokite Mūsų informacinis biuletenis.
Asif Razzaq yra „MarkTechPost Media Inc“ generalinis direktorius. Kaip vizionierius verslininkas ir inžinierius, ASIF yra įsipareigojęs išnaudoti dirbtinio intelekto potencialą socialiniam gėrybei. Naujausias jo siekis yra dirbtinio intelekto žiniasklaidos platformos „MarkTechPost“, kuri išsiskiria išsamia mašininio mokymosi ir giluminio mokymosi naujienų, kuri yra techniškai pagrįsta, ir lengvai suprantama plačiai auditorijai. Platforma gali pasigirti daugiau nei 2 milijonai mėnesinių peržiūrų, parodydama jos populiarumą tarp auditorijos.
