Yann LeCun, vyriausiasis AI mokslininkas „Meta“ ir vienas iš šiuolaikinių AI pradininkų, neseniai teigė, kad autoregresyvūs didelių kalbų modeliai (LLM) yra iš esmės ydingi. Anot jo, tikimybė generuoti teisingą atsaką sumažėja eksponentiškai su kiekvienu prieigos raktu, todėl jie nepraktiški ilgos formos, patikimai AI sąveikai.
Nors aš labai gerbiu Lecuno darbą ir požiūrį į PG vystymąsi ir rezonuoju su daugeliu jo įžvalgų, manau, kad šis konkretus teiginys nepastebi kai kurių pagrindinių aspektų, kaip praktiškai veikia LLM. Šiame įraše paaiškinsiu, kodėl autoregresyvūs modeliai iš esmės nesiskiria ir pasmerkta, ir kaip tokie metodai kaip apgalvotos grandinės (COT) ir dėmesingi samprotavimo klausimai (ARQS)-metodas, kurį mes sukūrėme siekdami didelio tikslumo klientų pasiekti, kad pasiektume didelio tikslumo klientą Sąveika su „Parlant“ – veiksmingai įrodo kitaip.
Kas yra autoregresija?
Esmė LLM yra tikimybinis modelis, išmokytas generuoti vieną tekstą vienu metu. Atsižvelgiant į įvesties kontekstą, modelis prognozuoja greičiausią kitą žetoną, padeda jį atgal į originalią seką ir pakartoja procesą iteratyviai, kol įvyks sustabdymo sąlyga. Tai leidžia modeliui generuoti bet ką, pradedant nuo trumpų atsakymų iki ištisų straipsnių.
Norėdami giliau pasinerti į autoregresiją, peržiūrėkite mūsų naujausią techninio tinklaraščio įrašą.
Ar generavimo klaidos eksponentiškai sukelia eksponentiškai?
Lecun argumentas gali būti išpakuotas taip:
- Apibrėžkite C kaip visų galimų ilgio užbaigimų rinkinys N.
- Apibrėžkite A ⊂ c kaip priimtinų baigimų pogrupis, kur U = c – a reiškia nepriimtinus.
- Tegul CI (k) būti netyčia Kkuris K vis dar priimtina (CI (n) ∈ A. vis tiek gali būti taikomas).
- Tarkime, kad konstanta E kaip klaidos tikimybė sugeneruoti kitą žetoną Ci į U.
- Tikimybė generuoti likusius žetonus išlaikant Ci į A yra tada (1 – e)^(n – k).
Tai lemia „LeCun“ išvadą, kad pakankamai ilgiems atsakymams tikimybė išlaikyti darną eksponentiškai artėja prie nulio, o tai rodo, kad autoregresyvūs LLM iš esmės yra ydingi.
Bet štai problema: E nėra pastovus.
Paprasčiau tariant, LeCun argumentas daro prielaidą, kad tikimybė padaryti klaidą kiekviename naujame žetone yra nepriklausoma. Tačiau LLM neveikia taip.
Kaip analogija tam, kas leidžia LLMS įveikti šią problemą, įsivaizduokite, kad pasakojate istoriją: Jei padarysite klaidą viename sakinyje, vis tiek galite ją ištaisyti kitame, kad pasakojimo nuoseklus išlaikytų. Tas pats pasakytina ir apie LLM, ypač kai tokios technikos, kaip tokios apgalvotos grandinės (COT), paskatino juos nukreipti į geresnius samprotavimus, padedant jiems iš naujo įvertinti savo rezultatus.
Kodėl ši prielaida yra ydinga
LLMS eksponatas Savarankiškos pataisos savybės Tai neleidžia jiems spiralės į nenuoseklumą.
Paimti Aptarta grandinė (COT) raginimaskuris skatina modelį generuoti tarpinius samprotavimo veiksmus. COT leidžia modeliui atsižvelgti į kelias perspektyvas, pagerinti jo sugebėjimą suartėti prie priimtino atsakymo. Panašiai Patikrinimo grandinė (COV) ir struktūruoti grįžtamojo ryšio mechanizmai, tokie kaip ARQ, vadovauja modeliui sustiprinti galiojančius išėjimus ir išmesti klaidingus.
Maža klaida ankstyvoje kartos procese nebūtinai pasmerkia galutinį atsakymą. Vaizdingai tariant, LLM gali dar kartą patikrinti savo darbą, atgal ir ištaisyti klaidas kelyje.
Dėmesiškos samprotavimo klausimai (ARQ) yra žaidimų keitiklis
Parlante mes ėmėmės šio principo toliau dirbdami Dėmesio samprotavimo klausimai (Šiuo metu mūsų darbuose aprašytas tiriamas dokumentas, tačiau įgyvendinimo modelį galima ištirti mūsų atvirojo kodo kodų bazėje). ARQ pateikia samprotavimus, kurie padeda modeliui išlaikyti darną per ilgus baigimus, dinamiškai sutelkdami dėmesį į pagrindines instrukcijas strateginiuose taškuose baigimo procese, nuolat neleidžiant LLM nesiskirstyti į nenuoseklumą. Naudodamiesi jais, mes sugebėjome išlaikyti didelį bandymų rinkinį, kuriame yra beveik 100% nuoseklumas, sukuriant teisingą sudėtingų užduočių atlikimą.
Ši technika leidžia mums pasiekti daug didesnį AI pagrįstų samprotavimų ir instrukcijų sekimo tikslumą, kuris mums buvo labai svarbus įgalinant patikimas ir suderintas klientams skirtas programas.
Autoregresyvūs modeliai yra čia, kad liktų
Mes manome, kad autoregresyvūs LLM yra toli gražu ne pasmerktos. Nors ilgos formos nuoseklumas yra iššūkis, darant prielaidą, kad eksponentiškai padidėja klaidų lygis Nepaiso pagrindinių mechanizmų, kurie mažina skirtumus-Nuo minėtų samprotavimų grandinės iki struktūrizuotų samprotavimų, tokių kaip ARQ.
Jei jus domina AI suderinimas ir pokalbių agentų, naudojančių LLMS, tikslumą, nedvejodami tyrinėkite Parlanto atvirojo kodo pastangas. Toliau tobulinkime, kaip LLM generuoja ir struktūrizuoja žinias.
Atsakomybės atsisakymas: Šiame svečio straipsnyje išreikštos nuomonės ir nuomonės yra autoriaus nuomonės ir nebūtinai atspindi oficialią „MarktechPost“ politiką ar poziciją.
Yam Marcovitz yra „Parlant“ technikos vadovė ir „Emcie“ generalinis direktorius. Patyręs programinės įrangos statytojas, turintis didelę patirtį, susijusią su kritine programine įranga ir sistemos architektūra, „Yam“ fonas informuoja apie jo išskirtinį požiūrį į kontroliuojamų, nuspėjamų ir suderintų AI sistemų kūrimą.
✅ (rekomenduojama) Prisijunkite prie mūsų telegramos kanalo
