Didelių kalbos modeliai (LLM) sukėlė revoliuciją dirbtiniu intelektu, parodydami nepaprastas teksto generavimo ir problemų sprendimo galimybes. Tačiau jų įsipareigojimų nevykdymas išlieka kritinis apribojimas „Greitas mąstymas“ požiūris – generavimo išėjimai pagal vieną užklausą be iteracinio tobulinimo. Tuo tarpu neseniai „Lėtas mąstymas“ Tokie metodai, kaip mąstymo grandinė, paskatino suskirstyti problemas į mažesnius veiksmus, juos lieka suvaržyti statinės pradinės žinios ir negalima dinamiškai integruoti naujos informacijos samprotavimo metu. Šis spragos išryškėja atliekant sudėtingas užduotis, reikalaujančias realaus laiko žinių atnaujinimų, tokių kaip atsakymas į daugialypį klausimą ar adaptyvaus kodo generavimą.
Dabartiniai požiūriai į LLM samprotavimus sustiprina dvi kategorijas. Gauna žudynių karta (skuduras) Sistemos iš anksto įkelia išorines žinias, tačiau dažnai pateikia nesvarbią informaciją, kuri kenkia efektyvumui ir tikslumui. Medžių pagrįstų paieškos algoritmai patinka Monte Karlo medžio paieška (MCTS) Įgalinkite struktūrizuotą samprotavimo kelių tyrinėjimą, tačiau jiems trūksta kontekstinių žinių integracijos mechanizmų. Pavyzdžiui, nors LATS (LLM varomi MCT) pristatė vertinimo ir atspindžio etapus, jis vis dar veikia pagal pradines modelio žinių ribas. Šie metodai kovoja su tyrinėjimo pločio, kontekstinio aktualumo ir skaičiavimo efektyvumo balansavimu – dažnai sukuriant pernelyg plačius arba nepakankamai pagrįstus atsakymus.
Šiame darbe „Skaitmeninės saugumo grupės“ tyrėjų komanda „Qihoo 360“ pasiūlė Su grandinės susijusios mintys (kailis) Sistema, skirta pašalinti šiuos apribojimus per dvi pagrindines naujoves. Pirma, asociatyvios atminties mechanizmas Įgalina dinaminę žinių integraciją samprotavimo metu, imituojant žmonių pažinimo asociacijas. Skirtingai nuo statinio skuduro požiūrių, kurie iš anksto gauna informaciją, kailis suaktyvina žinių gavimą, reaguodamas į konkrečius samprotavimo veiksmus – ekvivalentiškumą matematikui, primenančiam svarbias teoremas tik tada, kai reikia įrodymų. Antra, optimizuotas MCTS algoritmas Į šį asociatyvų procesą įtraukia naujas keturių pakopų ciklas: atranka, plėtra su žinių asociacija, kokybės įvertinimas ir vertės atgalinė priemonė. Tai sukuria grįžtamojo ryšio kilpą, kai kiekvienas samprotavimo žingsnis gali sukelti tikslinius žinių atnaujinimus, kaip parodyta pirminio diegimo 4 paveiksle.
„Coat“ šerdyje yra dvigubo srauto samprotavimo architektūra. Apdorojant užklausą, sistema tuo pat metu tiria galimus samprotavimo kelius per MCTS medį, išlaikydama asociatyvią atminties banką. Kiekvienas paieškos medžio mazgas (vaizduojantis samprotavimo žingsnį) sukuria abu turinį (G (n))susijusios žinios (Am (n)) ir
Priskiria balų balansavimo atsakymo kokybę (Fg) ir žinių aktualumas (Fa)su β kontroliuoti jų santykinę svarbą. Tai užtikrina, kad asociacijos išliks tvirtai susijusios su besikeičiančiu samprotavimo procesu, o ne įvesti tangentinę informaciją.
„Celat“ veiklos įvertinimas pabrėžia jo pranašumą, palyginti su esamais samprotavimų tobulinimo metodais. Sistema buvo pažymėta pagal kokybinę ir kiekybinę metriką atliekant įvairias užduotis. Kokybiniai vertinimai apėmė sudėtingus užklausų atsakymus, kai Coat parodė turtingesnius ir išsamesnius atsakymus, palyginti su pradiniais modeliais, tokiais kaip QWEN2.5-32B ir ChatGPT. Pažymėtina, kad pristatė papildomas samprotavimo kategorijas, tokias kaip etiniai ir reguliavimo sumetimai, kurių nebuvo kituose modeliuose. Kiekybiniai vertinimai buvo atlikti dviejose pagrindinėse srityse: atsakymas į žinias reikalaujančius klausimus ir kodo generavimas. Atliekant gavimo, graudimo (RAG) užduotis, kailis buvo palygintas su „Nativerag“, „IRCOT“, „Hipporag“, „LATS“ ir „KAG“ „HotpotQA“ ir „2Wikimultihopqa“ duomenų rinkiniuose. Metrika, tokia kaip „Exect Match“ (EM) ir F1 balai, patvirtino aukščiausią „Coat“ našumą, parodančią jo sugebėjimą generuoti tikslus ir kontekstines atsakymus. Kodų generavime, patobulintose modeliai, aplenkę tiksliai suderintus atitikmenis (QWEN2.5-Coder-7B-instruct, QWEN2.5-Coder-14B instructu) duomenų rinkiniuose, tokiuose kaip humanevalas, MBPP ir humanevalas-X Domeno konkrečios samprotavimo užduotys.
Šis darbas sukuria naują LLM samprotavimo paradigmą, integruojant dinaminių žinių asociaciją su struktūrizuota paieška. Skirtingai nuo ankstesnių statinių padidinimo metodų, „Coat“ realaus laiko atminties atnaujinimai įgalina kontekstą suvokti samprotavimus, kurie prisitaiko prie kylančių informacijos poreikių. Techninės MCTS optimizavimo ir dvigubo turinio vertinimo naujovės suteikia planą sujungti išorinių žinių sistemas su šiuolaikinėmis LLM. Nors dabartiniai įgyvendinimai priklauso nuo iš anksto nustatytų išorinių smegenų, architektūra natūraliai palaiko „Pug-and-Play“ integraciją su kylančiomis priemonėmis, tokiomis kaip LLM agentai ir realaus laiko žiniatinklio paieška. Šie pasiekimai rodo, kad kita AI argumentavimo siena gali būti sistemose, kurios dinamiškai susipynia vidinį skaičiavimą su tikslinėmis išorinėmis žiniomis-tokios, kaip žmonių ekspertai konsultuoja nuorodas sudėtingo problemų sprendimo metu.
Patikrinkite popierius. Visas šio tyrimo kreditas skirtas šio projekto tyrėjams. Be to, nepamirškite sekti mūsų „Twitter“ ir prisijunkite prie mūsų „Telegram“ kanalas ir „LinkedIn GrOUP. Nepamirškite prisijungti prie mūsų 75K+ ml subreddit.
🚨 Rekomenduojama atvirojo kodo AI platforma: „„ Intellagent “yra atvirojo kodo daugialypės terpės sistema, skirta įvertinti sudėtingą pokalbio AI sistemą“ (reklamuojama)
„Vineet Kumar“ yra „MarkTechPost“ konsultavimo praktikantas. Šiuo metu jis siekia savo BS iš Indijos technologijos instituto (IIT), Kanpur. Jis yra mašinų mokymosi entuziastas. Jis aistringai vertina tyrimus ir naujausius giluminio mokymosi, kompiuterinės vizijos ir susijusių sričių pažangą.
✅ (rekomenduojama) Prisijunkite prie mūsų telegramos kanalo
