„Salesforce AI Research“ pristato apdovanojimą, kurį valdo spekuliatyviai dekodavimas (RSD): nauja sistema, pagerinanti išvadų efektyvumą didelių kalbų modeliuose (LLM) iki 4,4 × mažiau flopų.
Pastaraisiais metais dėl greito didelių kalbų modelių (LLMS) mastelio keitimas lėmė nepaprastą…
Sluoksnio paralelizmas: LLM išvadų efektyvumo padidinimas lygiagrečiai transformatoriaus sluoksnių vykdymui
LLM įrodė išskirtines galimybes, tačiau jų esminiai skaičiavimo reikalavimai kelia didelių iššūkių…
Adaptyvusis išvadų biudžeto valdymas didelių kalbų modeliuose, naudojant suvaržytą politikos optimizavimą
Didelių kalbų modeliai (LLM) parodė nepaprastas galimybes atlikti sudėtingas samprotavimo užduotis, ypač…
Didelio modelio išvadų su kopėčiomis likutis optimizavimas: Tensoro paralelizmo gerinimas per komunikacijos kompiuterį sutapimą
LLM išvados yra labai reikalaujančios ištekliams, reikalaujanti didelės atminties ir skaičiavimo galios.…
„Snowflake AI Research“ atvirojo kodo „SwiftKV“: naujas AI metodas, sumažinantis metalamų LLM išvadų sąnaudas iki 75% naudojant „Cortex AI“
Didžiosios kalbos modeliai (LLM) tapo pagrindine dirbtinio intelekto dalimi, aprūpinantys įvairias programas…
Medicininio AI tobulinimas: OpenAI o1 peržiūros modelio įvertinimas ir išvadų strategijų optimizavimas
Medprompt, vykdymo laiko valdymo strategija, parodo, kad bendros paskirties LLM gali padėti…
