LLM padarė didelę pažangą automatizuoto rašymo srityje, ypač atliekant tokias užduotis kaip atviro domeno ilgų formų generavimas ir konkrečios temos ataskaitos. Daugelis metodų remiasi paieškos papildyta karta (RAG), kad įtrauktų išorinę informaciją į rašymo procesą. Tačiau šie metodai dažnai neveikia dėl fiksuotų paieškos strategijų, ribojančių generuojamo turinio gylį, įvairovę ir naudingumą – dėl šio niuansuoto ir visapusiško tyrinėjimo stokos gaunami pasikartojantys, lėkšti ir neoriginalūs rezultatai. Nors naujesni metodai, tokie kaip STORM ir Co-STORM, praplečia informacijos rinkimą žaidžiant vaidmenis ir iš kelių perspektyvų, juos riboja statiškos žinių ribos ir nepavyksta išnaudoti viso LLM potencialo dinamiškai ir atsižvelgiant į kontekstą ieškoti.
Mašininiam rašymui trūksta tokių pasikartojančių procesų, skirtingai nei žmonės, kurie natūraliai pertvarko ir tobulina savo pažinimo sistemas per reflektyvią praktiką. Apmąstymais pagrįstos sistemos, tokios kaip „OmniThink“, siekia pašalinti šiuos trūkumus, suteikdamos modeliams galimybę koreguoti paieškos strategijas ir dinamiškai gilinti temos supratimą. Naujausi tyrimai parodė, kaip svarbu integruoti įvairias perspektyvas ir samprotavimus iš kelių šaltinių kuriant aukštos kokybės rezultatus. Nors ankstesni metodai, tokie kaip kelių posūkių paieška ir apvalaus stalo modeliavimas, pažengė į priekį įvairindami informacijos šaltinius, jie dažnai nesugeba lanksčiai prisitaikyti, kai modelio supratimas vystosi.
Tyrėjai iš Zhejiang universiteto, Tongyi Lab (Alibaba grupė) ir Zhejiang Key Laboratory of Big Data Intelligent Computing pristatė OmniThink. Ši mašininio rašymo sistema imituoja žmogaus pažinimo procesus, susijusius su pasikartojančiu apmąstymu ir plėtra. „OmniThink“ dinamiškai koreguoja paieškos strategijas, kad rinktų įvairią, svarbią informaciją, imituodama, kaip besimokantieji palaipsniui gilina savo supratimą. Šis metodas padidina žinių tankumą, išlaikant nuoseklumą ir gilumą. Įvertintas WildSeek duomenų rinkinyje naudojant naują „žinių tankio“ metriką, „OmniThink“ parodė geresnę straipsnio kokybę. Žmonių vertinimai ir ekspertų atsiliepimai patvirtino jo potencialą sukurti įžvalgų, išsamų, ilgos formos turinį, sprendžiant pagrindinius automatinio rašymo iššūkius.
Atvirojo domeno ilgos formos generavimas apima išsamių straipsnių kūrimą, gaunant ir sintezuojant informaciją iš atvirųjų šaltinių. Tradiciniai metodai apima du veiksmus: su tema susijusių duomenų gavimą per paieškos variklius ir metmenų generavimą prieš kuriant straipsnį. Tačiau tokios problemos kaip perteklius ir mažas žinių tankis išlieka. „OmniThink“ tai sprendžia imituodama į žmogų panašią iteracinę plėtrą ir apmąstymą, kurdama informacijos medį ir koncepcinį telkinį, skirtą svarbiems, įvairiems duomenims struktūrizuoti. Trijų etapų procesas – informacijos gavimas, metmenų struktūrizavimas ir straipsnio sudėtis – „OmniThink“ užtikrina logišką nuoseklumą ir turtingą turinį. Jis integruoja semantinį panašumą, kad būtų galima gauti atitinkamus duomenis, ir patobulina juodraščius, kad būtų sukurti glausti, didelio tankio straipsniai.
„OmniThink“ demonstruoja išskirtinį našumą kurdama straipsnius ir kontūrus, pasižyminti tokia metrika kaip aktualumas, plotis, gylis ir naujumas, ypač naudojant GPT-4o. Jo dinamiški plėtimosi ir refleksijos mechanizmai didina informacijos įvairovę, žinių tankumą ir kūrybiškumą, leidžiančius giliau tyrinėti žinias. Modelio kontūrų generavimas pagerina struktūrinį darną ir loginį nuoseklumą, priskiriamą jo unikaliam koncepcinio baseino dizainui. Žmonių vertinimai patvirtina puikų „OmniThink“ našumą, palyginti su tokiais pagrindiniais modeliais kaip „Co-STORM“, ypač plačiu mastu. Tačiau subtilūs naujumo patobulinimai žmonių vertintojams nėra tokie akivaizdūs, o tai pabrėžia, kad reikia tobulesnių vertinimo metodų, kad būtų galima tiksliai įvertinti pažangių modelių galimybes.
Apibendrinant galima pasakyti, kad „OmniThink“ yra mašininio rašymo sistema, kuri imituoja į žmogų panašią iteracinę plėtrą ir apmąstymą, kad būtų sukurti geros struktūros, aukštos kokybės ilgos formos straipsniai. Skirtingai nuo tradicinių paieškos papildytų generavimo metodų, dėl kurių dažnai gaunamas seklus, perteklinis ir neoriginalus turinys, „OmniThink“ padidina žinių tankį, nuoseklumą ir gylį, palaipsniui gilindama temos supratimą, panašiai kaip žmogaus pažinimo mokymasis. Kaip patvirtina automatiniai ir žmogaus vertinimai, šis modelio agnostinis metodas gali būti integruotas su esamomis sistemomis. Būsimame darbe siekiama įtraukti pažangius metodus, apjungiančius gilesnius samprotavimus, vaidmenų žaidimą ir žmogaus bei kompiuterio sąveiką, toliau sprendžiant iššūkius kuriant informatyvų ir įvairų ilgos formos turinį.
Patikrinkite Popierius, GitHub puslapis ir projektas. Visi nuopelnai už šį tyrimą tenka šio projekto tyrėjams. Taip pat nepamirškite sekti mūsų Twitter ir prisijunk prie mūsų Telegramos kanalas ir LinkedIn group. Nepamirškite prisijungti prie mūsų 65k+ ML SubReddit.
🚨 Rekomenduokite atvirojo kodo platformą: „Parlant“ yra sistema, pakeičianti tai, kaip dirbtinio intelekto agentai priima sprendimus klientams skirtuose scenarijuose. (Paaukštintas)
Sana Hassan, „Marktechpost“ konsultacinė praktikantė ir „IIT Madras“ dviejų laipsnių studentė, aistringai taiko technologijas ir dirbtinį intelektą sprendžiant realaus pasaulio iššūkius. Labai domisi praktinių problemų sprendimu, jis atneša naują požiūrį į AI ir realaus gyvenimo sprendimų sankirtą.
📄 Susipažinkite su „Aukštis”: vienintelis savarankiškas projektų valdymo įrankis (remiama)
