„Human-Robot“ bendradarbiavimas sutelktas į intelektualiųjų sistemų, veikiančių kartu su žmonėmis dinamiškoje aplinkoje, kūrimą. Tyrėjai siekia kurti robotus, galinčius suprasti ir vykdyti natūralias kalbos instrukcijas, tuo pačiu prisitaikydami prie tokių apribojimų kaip erdvinio padėties nustatymas, užduočių sekos nustatymas ir galimybių pasidalijimas tarp žmonių ir mašinų. Ši sritis žymiai skatina pagalbos namų ūkio, sveikatos priežiūros ir pramonės automatizavimą robotiką, kai efektyvumas ir pritaikomumas yra labai svarbūs sklandžiai integracijai.
Pagrindinis iššūkis bendradarbiaujant žmonėms yra tai, kad trūksta išsamaus etalono, skirto įvertinti planavimo ir samprotavimo gebėjimus atliekant daugialypę užduotis. Nors ankstesniuose modeliuose buvo nagrinėjamos navigacijos ir vieno agentų sąveikos, jie nesugeba užfiksuoti realaus pasaulio sudėtingumo, kai robotai turi koordinuoti su žmonėmis. Daugelyje esamų metodų neatsižvelgiama į realaus laiko užduoties stebėjimą, partnerių pritaikymą ir veiksmingą klaidų atkūrimą. Dėl nustatyto standarto nebuvimo sunku sistemingai įvertinti ir patobulinti bendradarbiavimo AI našumą interaktyviose aplinkose.
Dabartiniai įkūnytos AI požiūriai dažnai sutelkia dėmesį į vieno agento užduoties vykdymą, nepaisydami koordinavimo būtinybės daugiagentų scenarijuose. Kai kurie metodai priklauso nuo šablonų užduočių instrukcijų, ribojant mastelio keitimą ir užduočių įvairovę, o kiti priklauso nuo rankiniu būdu sukurtų vertinimo funkcijų, todėl didelio masto vertinimai tampa nepraktiški. Nepaisant patobulinimų, moderniausi didelių kalbos modeliai (LLMS) kovoja su užduoties stebėjimu, koordinavimu ir atsigavimu po vykdymo gedimų. Šie apribojimai trukdo efektyviai funkcionuoti į žmogų orientuotoje aplinkoje, kur būtina pritaikyti ir tiksliai vykdyti užduotis.
„Fair Meta“ tyrėjai pristatė „PartNR“ (planavimo ir samprotavimo užduotis bendradarbiaujant su žmogaus robotu)-didelio masto etaloną, skirtą įvertinti žmogaus roboto koordinaciją imituojamoje aplinkoje. „Partnr“ sudaro 100 000 natūralių kalbos užduočių, apimančių 60 modeliuotų namų ir 5 819 unikalių objektų. Etalonas konkrečiai įvertina užduotis, apimančias erdvinius, laiko ir nevienalyčius apribojimus. Tyrėjai užtikrino realų ir keičiamą užduočių generavimo procesą, pasinaudodami pusiau automatiniu vamzdynu, integruojančiu LLM ir modeliavimą-kilpoje. „PartNR“ siekia nustatyti standartą, skirtą įvertinti AI gebėjimą efektyviai bendradarbiauti su žmonių partneriais.
Tyrėjai sukūrė užduoties instrukcijas ir vertinimo funkcijas, naudodami LLM, kad būtų sukurtas etalonas. Tada jie buvo filtruojami modeliuojant, kad būtų pašalintos neįmanomos užduotys. Galutiniame duomenų rinkinyje buvo patvirtintas „Human-the-coop“ patvirtinimas, siekiant pagerinti užduočių įvairovę ir užtikrinti tikslumą. „Partnr“ užduotys skirstomos į keturias kategorijas: be apribojimų, erdvinės, laikinosios ir nevienalytės. Užduotys be apribojimų suteikia lankstumo vykdymo tvarka, o erdvinėms užduotims reikia konkrečios objekto padėties nustatymo. Laikinosioms užduotims reikalaujama atlikti užsakymą, o nevienalytės užduotys apima veiksmus, viršijančius roboto galimybes, reikalaujant žmogaus įsikišimo. Šios užduočių struktūros kelia iššūkius koordinavimo, stebėjimo ir vykdymo tikslumo metu.
LLM pagrįstų planavimo agentų įvertinimai „PartNR“ atskleidė reikšmingus koordinacijos, užduočių stebėjimo ir klaidų atkūrimo apribojimus. Kai jie suporuoti su žmonėmis, LLM valdomiems robotams reikėjo 1,5 karto daugiau žingsnių nei žmogaus ir žmogaus komandos ir 1,1 karto daugiau žingsnių nei vienas žmogus, kad atliktų užduotis. Šiuolaikiški LLM sėkmės procentas buvo tik 30% neprivilegijuotomis sąlygomis, palyginti su 93%, kai užduotis atliko tik žmonės. Be to, patobulinus mažesnius LLMS pasiekė našumą, panašų į modelius devynis kartus didesnius, o 8,6 karto greitesnis. Decentralizuotame daugiaagyje parametrų užduoties atlikimas reikalavo 1,3 karto daugiau žingsnių nei vieno agento scenarijus, parodantis dabartinių koordinavimo mechanizmų neveiksmingumą.
„PartNR“ pabrėžia esminius esamų AI pagrįstų žmogaus roboto bendradarbiavimo modelių spragas, pabrėžiant geresnį planavimo, stebėjimo ir sprendimų priėmimo strategijas. Rezultatai rodo, kad nepaisant AI pažangos, „Human-Robot“ bendradarbiavimo etalonams reikia žymiai patobulinti, kad būtų galima panaikinti AI modelių ir žmonių veiklos skirtumus. „PartNR“ siūloma struktūrizuota vertinimo sistema suteikia kelią AI gebėjimui efektyviai bendradarbiauti, planuoti ir atlikti užduotis. Būsimi tyrimai turėtų sutelkti dėmesį į LLM pagrįstų planuotojų tobulinimą, koordinavimo mechanizmų gerinimą ir suvokimo modelių patobulinimą, kad būtų galima spręsti dabartinius daugialypių agentų sąveikos apribojimus. „PartNR“ yra vertingas šaltinis norint skatinti inovacijas bendradarbiaujant įkūnijamose AI sistemose.
Patikrinkite popierius. Visas šio tyrimo kreditas skirtas šio projekto tyrėjams. Be to, nepamirškite sekti mūsų „Twitter“ ir prisijunkite prie mūsų „Telegram“ kanalas ir „LinkedIn GrOUP. Nepamirškite prisijungti prie mūsų 75K+ ml subreddit.
🚨 Rekomenduojama atvirojo kodo AI platforma: „„ Intellagent “yra atvirojo kodo daugialypės terpės sistema, skirta įvertinti sudėtingą pokalbio AI sistemą“ (Paaukštintas)
Nikhil yra „MarkTechPost“ stažuotės konsultantas. Jis siekia integruoto dvigubo laipsnio medžiagų Indijos technologijos institute, Kharagpur mieste. „Nikhil“ yra AI/ML entuziastas, kuris visada tiria programas tokiose srityse kaip biomedžiagos ir biomedicinos mokslas. Turėdamas tvirtą medžiagos mokslo patirtį, jis tyrinėja naujus pasiekimus ir sukuria galimybes prisidėti.
✅ (rekomenduojama) Prisijunkite prie mūsų telegramos kanalo
