Dirbtinis intelektas padarė didelę pažangą, tačiau kuriant modelius, galinčius niuansuoti samprotavimus, išlieka iššūkis. Daugelis esamų modelių kovoja su sudėtingomis problemų sprendimo užduotimis, ypač atliekant matematiką, kodavimą ir mokslinius samprotavimus. Šie sunkumai dažnai atsiranda dėl duomenų kokybės, modelio architektūros ir mokymo procesų mastelio apribojimų. Vis svarbesnis yra atvirų duomenų pagrindimo modelių, veikiančių aukštu lygiu, poreikis, ypač todėl, kad patentuoti modeliai ir toliau veda lauką.
„Openthinker-32B“ yra atvirų duomenų samprotavimo modelis, kurį sukūrė „Open Minties“ komanda, skirta spręsti šiuos iššūkius. Patobulintas iš „QWEN2.5-32B“ instrumento, naudojant „Opentholts-114K“ duomenų rinkinį, modelis parodo stiprią rezultatą įvairiose samprotavimo užduočių, įskaitant matematikos, kodavimo ir mokslinio tyrimo, atlikimą.
Žvelgiant iš techninės perspektyvos, „Openthinker-32B“ pasižymi 32,8 milijardo parametrų ir palaiko 16 000 žetonų konteksto ilgį, leisdamas jam apdoroti sudėtingas užduotis, kurioms reikalingas išplėstinis kontekstas. Modelis buvo išmokytas per tris epochas, naudojant „LlaMa“ factory sistemą, naudojant 1E-5 mokymosi procentą su kosinuso mokymosi normos planavimu. Treniruotės buvo vykdomos „AWS Sagemaker“ keturiuose mazguose, kurių kiekviename yra aštuoni H100 GPU, maždaug 90 valandų. Ši mokymo sąranka padidina modelio sugebėjimą efektyviai valdyti sudėtingus samprotavimo procesus.
Veiklos įvertinimai rodo, kad „Openthinker-32B“ pralenkia kitus atvirų duomenų samprotavimo modelius keliuose etalonuose. Tai pasiekia 90,6 tikslumą „Math500“ etalone ir 61,6 balas „GPQA-Diamond“ etalone, rodantis stiprias bendrąsias problemų sprendimo galimybes. Šie rezultatai atspindi modelio sugebėjimą efektyviai spręsti įvairius samprotavimo iššūkių rinkinį.
Apibendrinant galima pasakyti, kad „Openthinker-32B“ pateikia gerai suapvalintą indėlį į AI samprotavimų modelių lauką. Naudodamas kruopščiai kuruojamą duomenų rinkinį ir griežtą mokymo procesą, jame nagrinėjami daugelis ankstesnių modelių apribojimų. Stiprus jo etaloninis našumas rodo, kad tai yra vertinga priemonė tyrėjams ir praktikams, dirbantiems dirbtiniame intelekte. Kaip atvirojo kodo modelis, „Openthinker-32B“ skatina tolesnį tyrinėjimą ir naujoves pagrįstose AI sistemose.
Patikrinkite Veido apkabinimo ir techninių detalių modelis. Visas šio tyrimo kreditas skirtas šio projekto tyrėjams. Taip pat nedvejodami sekite mus „Twitter“ Ir nepamirškite prisijungti prie mūsų 75K+ ml subreddit.
🚨 Rekomenduojama atvirojo kodo AI platforma: „„ Intellagent “yra atvirojo kodo daugialypės terpės sistema, skirta įvertinti sudėtingą pokalbio AI sistemą“ (Paaukštintas)
„MarktechPost“ ir „IIT Madras“ dvigubo laipsnio studentė konsultacinė Sana Hassan aistringai taiko technologijas ir AI, kad galėtų spręsti realaus pasaulio iššūkius. Turėdamas didelį susidomėjimą išspręsti praktines problemas, jis pateikia naują perspektyvą AI ir realaus gyvenimo sprendimų sankryžai.
✅ (rekomenduojama) Prisijunkite prie mūsų telegramos kanalo
