A Sanghaji MI Laboratórium, a Zhejiang Egyetem és a Shanghai Jiao Tong Egyetem kutatói kifejlesztették az EgoExplorer adatkészletet, amely egy speciális, viselhető rendszer segítségével rögzített, 100 órányi emberi tevékenységet tartalmaz. Az összegyűjtött adatok első személyű videófelvételeket, valamint a teljes test mozgására, az ujjak mozgására és a tárgyakkal való érintkezésre vonatkozó információkat egyesítenek. A projekt célja a humanoid robotok betanításának fejlesztése, hogy a jövőben képesek legyenek mindennapi tevékenységek és precíz, jól összehangolt mozdulatokat igénylő kézi feladatok elvégzésére. A kutatás leírása az arXiv platformon jelent meg, amely tudományos publikációk előzetes változatainak közzétételére szolgál.
A humanoid robotok fejlesztésének egyik legnagyobb kihívása, hogy ne csak a helyváltoztatásra tanítsák meg őket, hanem a tárgyak ügyes kezelésére is. Egy szerszám felemelése, egy tárgy áthelyezése vagy egy pontos fogás végrehajtása a testtartás, a végtagok és a kézmozgások egyidejű vezérlését igényli. Önmagában a videófelvétel nem biztosít elegendő információt ahhoz, hogy a robot pontosan megismételhesse az adott mozdulatsort. Ezért a kutatók olyan rendszert fejlesztettek ki, amely egyszerre többféle adatot rögzít.
A rendszer központi eleme egy fejre rögzített GoPro HERO13 kamera, amely első személyű nézőpontból készít videofelvételeket. A rendszer emellett öt VIVE Ultimate mozgáskövető eszközt használ, amelyeket a fejre, mindkét kézfejre és mindkét bokára helyeznek. Ezek az eszközök követik a térbeli helyzetet és tájolást, így információt szolgáltatnak a kiválasztott testrészek mozgásáról. A rendszert MANUS Metagloves vagy Wuji kesztyűk egészítik ki, amelyek az ujjak mozgását rögzítő érzékelőkkel vannak felszerelve. A Wuji kesztyűk emellett tapintási adatok gyűjtését is lehetővé teszik, amelyek segítségével meghatározható, hogy a kéz mikor és hogyan érintkezik egy tárggyal. A rendszer speciális tartókkal és pántokkal is kiegészül, beleértve a 3D nyomtatási technológiával gyártott alkatrészeket is, amelyek biztosítják az eszközök stabil rögzítését. A készlet segítségével 100 órányi különböző tevékenységet rögzítettek, különös tekintettel a munkavégzéshez kapcsolódó feladatokra. Az EgoExplorer adatkészletben a videófelvételek a teljes test mozgására, az ujjak részletes mozgására és a tapintási interakciókra vonatkozó információkkal vannak összekapcsolva. Az adatokat az elvégzett feladatok egyes lépéseinek leírásával is kiegészítették. Ez lehetővé teszi nemcsak annak elemzését, hogy mit csinál az ember, hanem azt is, hogyan mozog és hogyan kezeli a tárgyakat. Ez a megközelítés a robotok számára sokkal átfogóbb viselkedési mintákat biztosíthat, mint önmagukban a videófelvételek. Mivel a mozgáskövető eszközök csak öt testpontot figyelnek, a kutatók saját mozgásrekonstrukciós eljárást fejlesztettek ki, amelynek neve Calibrate-Complete-Constrain. A szoftver először kalibrálja a résztvevő testgeometriáját és az érzékelőtartók helyzetét, így csökkenti a rögzítésükből eredő hibák hatását. Ezután a korábban megtanult mozgásminták alapján megbecsüli a közvetlenül nem követett ízületek és testrészek mozgását. Végül ellenőrzi, hogy a rekonstruált mozgás összhangban marad-e a mérésekkel, időben folyamatos-e, és megfelel-e az anatómiai korlátozásoknak. Az elemzett referenciaeljárások legjobbjához képest ez a megoldás 71,9%-kal csökkentette a testpontok helyzetének meghatározásában fellépő hibát. A kutatók emellett javulást tapasztaltak a kézmozgások leképezésének stabilitásában és a tárgyakkal való érintkezés becslésében is.
A kutatás következő szakaszában azt vizsgálták, hogy az összegyűjtött adatok felhasználhatók-e egy humanoid robot vezérlésére. A kutatók egy szimulált környezetben működő vezérlőrendszert fejlesztettek ki a Unitree G1 robothoz. A robot két, emberi bemutatók alapján adaptált mozgássorozatot hajtott végre, és mindkettőt esés nélkül teljesítette. Az előzetes kísérletek azt is kimutatták, hogy a vizuális, mozgási és tapintási adatok együttes felhasználása jobb eredményeket hozhat, mint az egyes adattípusok külön-külön történő feldolgozása. Az egyes információforrások kiegészítik egymást: a videó biztosítja a feladat környezetének megértését, a mozgáskövető eszközök leírják a test mozgását, a tapintásérzékelők pedig információt szolgáltatnak a környezettel való érintkezésről. Az eredményeket azonban egyelőre a technológia fejlesztésének előzetes szakaszaként kell értékelni. Az eddigi tesztek még nem igazolták, hogy a robot képes lenne tárgyak precíz kezelésére, korábban nem ismert feladatok végrehajtására, vagy egy betanított kezelő műveleteinek valós roboton történő megismétlésére. Ezek a korlátozások ellenére az EgoExplorer jól szemlélteti, hogyan támogathatja a kamerák, mozgáskövető eszközök és tapintásérzékelők kombinációja a robotikai algoritmusok fejlesztését. A jövőben az ehhez hasonló adatkészletek segíthetnek a humanoid robotoknak összetettebb feladatok elsajátításában és a különböző környezetekhez való alkalmazkodásban. A gyakorlati alkalmazás előtt azonban további kutatásokra és valós robotokon végzett tesztekre lesz szükség.
Tovább a cikkre: hirmondo.ostelsat.hu
