Įvadas: kas yra konteksto inžinerija?
Konteksto inžinerija reiškia discipliną kuriant, organizuojant ir manipuliuojant kontekstu, kuris pateikiamas į didelių kalbos modelius (LLMS), kad būtų optimizuotas jų našumas. Užuot patobulinęs modelio svorius ar architektūras, „Context Engineering“ daugiausia dėmesio skiria įvestis– raginimai, sistemos instrukcijos, gautos žinios, formatavimas ir net informacijos užsakymas.
Konteksto inžinerija nėra susijusi su geresniais raginimais. Kalbama apie pastatų sistemas, kurios pateikia tinkamą kontekstą, tiksliai tada, kai to reikia.
Įsivaizduokite, kad AI asistentas paprašė parašyti spektaklio apžvalgą.
→ Prastas kontekstas: Tai tik mato nurodymą. Rezultatas yra neaiškus, bendras grįžtamasis ryšys, kuriam trūksta įžvalgos.
→ Turtingas kontekstas: Tai mato instrukciją plius Darbuotojo tikslai, ankstesnės apžvalgos, projekto rezultatai, kolegų atsiliepimai ir vadovo pažymos. Rezultatas? Niuansuota, duomenų remiama apžvalga, kuri jaučiasi informuota ir suasmeninta, nes ji yra.
Ši kylanti praktika vis labiau traukia dėl didėjančios priklausomybės nuo greitųjų modelių, tokių kaip GPT-4, Claude ir Mistral. Šių modelių atlikimas dažnai būna mažiau susijęs su jų dydžiu ir daugiau apie konteksto kokybė Jie gauna. Šia prasme konteksto inžinerija yra greito intelektualių agentų eros programavimo ir gavimo iš aklavietės kartos (RAG) eros ekvivalentas.
Kodėl mums reikia konteksto inžinerijos?
- Ženklo efektyvumas: Konteksto langų plečiant, bet vis dar ribojant (pvz., 128K GPT-4-Turbo), efektyvus konteksto valdymas tampa labai svarbus. Nereikalingi ar prastai struktūruotos konteksto švaistomos vertingos žetonai.
- Tikslumas ir aktualumas: LLM yra jautrios triukšmui. Kuo tikslingiau ir logiškai išdėstytas raginimas, tuo didesnė tikslios išvesties tikimybė.
- Gauna žudynių karta (skuduras): RAG sistemose išoriniai duomenys pateikiami realiuoju laiku. Konteksto inžinerija padeda nuspręsti, ką susigrąžinti, kaip jį sukramtyti ir kaip pateikti.
- Agentinės darbo eigos: Naudodamiesi tokiomis priemonėmis kaip „Langchain“ ar „OpenAgents“, autonominiai agentai pasitiki kontekstu, kad išlaikytų atmintį, tikslus ir įrankių naudojimą. Blogas kontekstas lemia nesėkmę planuojant ar haliucinaciją.
- Domeno specifinė adaptacija: Tinkamumas yra brangus. Sistemingi geresni raginimai ar kūrimo vamzdynai leidžia modeliams gerai atlikti specialias užduotis, turinčias nulinį šūvį ar nedaug mokymosi.
Pagrindiniai konteksto inžinerijos metodai
Lauke formuojama kelios metodikos ir praktikos:
1. Sistemos greitas optimizavimas
Sistemos raginimas yra pamatinis. Tai apibūdina LLM elgesį ir stilių. Technika apima:
- Vaidmenų priskyrimas (pvz., „Jūs esate duomenų mokslo dėstytojas“)
- Mokymo įrėminimas (pvz., „Galvok žingsnis po žingsnio“)
- Suvaržymo įvedimas (pvz., „Tik išvestis JSON“)
2. Greita kompozicija ir grandininė grandinė
„Langchain“ išpopuliarino greitųjų šablonų ir grandinių naudojimą, kad būtų galima moduliuoti raginimą. Grandinės leidžia padalyti užduotis per raginimus, pavyzdžiui, suskaidyti klausimą, gauti įrodymus, tada atsakyti.
3. Konteksto glaudinimas
Su ribotais kontekstiniais langais galima:
- Norėdami suspausti ankstesnį pokalbį, naudokite apibendrinimo modelius
- Įterpkite ir surinkite panašų turinį, kad pašalintumėte perteklių
- Taikykite struktūrizuotus formatus (pvz., Lenteles), o ne „Verbose“ prozą
4. Dinaminis gavimas ir maršrutas
„Rag Pipelines“ (kaip ir „Llamaindex“ ir „Langchain“), remdamiesi vartotojo ketinimais, gauna dokumentus iš vektorių parduotuvių. Išplėstinės sąrankos apima:
- Užklausų perfrazavimas ar plėtra prieš atgavimą
- Kelių vektorių maršrutas, kad pasirinktumėte skirtingus šaltinius arba retriverius
- Konteksto pakartotinis įvertinimas atsižvelgiant į aktualumą ir atgarsį
5. Atminties inžinerija
Trumpalaikei atminčiai (kas yra greityje) ir ilgalaikė atmintis (atgauta istorija) Reikia suderinti. Technika apima:
- Konteksto pakartojimas (įpurškimas ankstesnėms susijusioms sąveikoms)
- Atminties apibendrinimas
- Ketinimas suvokti atminties pasirinkimą
6. Įrankių rinkliavos kontekstas
Agentų sistemose įrankių naudojimas yra susijęs su kontekstu:
- Įrankių aprašymo formatavimas
- Įrankių istorijos apibendrinimas
- Stebėjimai praėjo tarp žingsnių
Konteksto inžinerija ir greita inžinerija
Nors konteksto inžinerija yra susijusi, yra platesnė ir labiau sistemos lygis. Greita inžinerija paprastai yra susijusi su statinėmis, rankomis pagamintomis įvesties eilutėmis. Konteksto inžinerija apima dinamišką konteksto konstrukciją, naudojant įterpimus, atmintį, grandinę ir gavimą. Kaip pažymėjo Simonas Willisonas, „Kontekstinė inžinerija yra tai, ką mes darome vietoj Tinkamas. “
Realaus pasaulio programos
- Klientų aptarnavimo agentai: Ankstesnių bilietų santraukos, kliento profilio duomenys ir KB dokumentai.
- Kodų padėjėjai: Įšvirkšti repo dokumentus, ankstesnius įsipareigojimus ir funkcijų naudojimą.
- Teisės dokumentų paieška: Konteksto žinių užklausa su atvejų istorija ir precedentais.
- Išsilavinimas: Individualizuoti mokymo agentai, turintys atmintį apie besimokančiojo elgesį ir tikslus.
Konteksto inžinerijos iššūkiai
Nepaisant pažado, liko keli skausmo taškai:
- Latentinis: Gavimo ir formatavimo veiksmai įveskite pridėtines išlaidas.
- Reitingo kokybė: Prastas paieška skauda pasroviui.
- Žetonų biudžeto sudarymas: Pasirinkti, ką įtraukti/neįtraukti, yra ne trivialus.
- Įrankių sąveika: Maišymo įrankiai („Langchain“, „LlamainDex“, „Custom Retrievers“) suteikia sudėtingumo.
Atsiranda geriausia praktika
- Sujunkite struktūrizuotą (JSON, lenteles) ir nestruktūrizuotą tekstą, kad galėtumėte geriau analizuoti.
- Apribokite kiekvieną konteksto injekciją iki vieno loginio vieneto (pvz., Vieno dokumento ar pokalbio santrauka).
- Norėdami geriau rūšiuoti ir suskirstyti, naudokite metaduomenis (laiko žymes, autorystę).
- Rog, pėdsakų ir audito konteksto injekcijos, kad pagerėtų laikui bėgant.
Konteksto inžinerijos ateitis
Kelios tendencijos rodo, kad konteksto inžinerija bus pagrindinė LLM vamzdynuose:
- Modelio žinomo konteksto adaptacija: Ateities modeliai gali dinamiškai paprašyti reikalingo konteksto tipo ar formato.
- Savaime reflektyvūs agentai: Agentai, kurie tikrina savo kontekstą, peržiūrėkite savo atmintį ir vėliava haliucinacijos riziką.
- Standartizacija: Panašiai kaip JSON tapo universaliu duomenų mainų formatu, konteksto šablonai gali būti standartizuoti agentams ir įrankiams.
Kaip Andrej Karpathy užsiminė naujausiame įraše, „kontekstas yra naujas svorio atnaujinimas“. Užuot perkvalifikuoti modelius, mes dabar juos programuojame per jų kontekstą – kurdami kontekstą inžinerijos dominuojančią programinės įrangos sąsają LLM eroje.
Išvada
Konteksto inžinerija nebėra neprivaloma – ji yra labai svarbi norint atrakinti visas šiuolaikinių kalbų modelių galimybes. Kadangi tokios priemonės kaip „Langchain“ ir „Llamaindex“ brandūs ir agentiniai darbo srautai daugėja, įvaldant konteksto konstrukciją tampa tokia pat svarbi kaip ir modelio pasirinkimas. Nesvarbu, ar kuriate paieškos sistemą, kodavimo agentą ar suasmenintą dėstytoją, kaip jūs struktūrizuojate modelio kontekstą, vis labiau apibrėžs jo intelektą.
Šaltiniai:
- https://x.com/tobi/status/1935533422589399127
- https://x.com/karPathy/status/1937902205765607626
- https://blog.langchain.com/the-reise-of-context-inngineering/
- https://rlancemartin.github.io/2025/06/23/context_engineering/
- https://www.philschmid.de/context-inngineering
- https://blog.langchain.com/context-ngineering-for-agents/
- https://www.lllamaindex.ai/blog/context-engineering-what-it-is-andechniques-to-to-consider
Nesivaržykite sekti mus „Twitter“Ar „YouTube“ ir „Spotify“ Ir nepamirškite prisijungti prie mūsų 100K+ ml subreddit ir užsiprenumeruokite Mūsų informacinis biuletenis.
Asif Razzaq yra „MarkTechPost Media Inc“ generalinis direktorius. Kaip vizionierius verslininkas ir inžinierius, ASIF yra įsipareigojęs išnaudoti dirbtinio intelekto potencialą socialiniam gėrybei. Naujausias jo siekis yra dirbtinio intelekto žiniasklaidos platformos „MarkTechPost“, kuri išsiskiria išsamia mašininio mokymosi ir giluminio mokymosi naujienų, kuri yra techniškai pagrįsta, ir lengvai suprantama plačiai auditorijai. Platforma gali pasigirti daugiau nei 2 milijonai mėnesinių peržiūrų, parodydama jos populiarumą tarp auditorijos.
