通過諾亦騰動作捕捉系統(tǒng)遙操作 NVIDIA Isaac Sim 中的

智元遠征 A2 機器人虛擬本體

諾亦騰專注于動作捕捉與高精度追蹤技術(shù)，是少數(shù)能夠提供全譜系動作捕捉與運動測量產(chǎn)品的技術(shù)企業(yè)之一。在解決方案中，諾亦騰提供基于慣性傳感器的 PN Studio 動作捕捉套裝以及基于光學(xué)慣性混合追蹤技術(shù)的 HybridTrack 光學(xué)運動測量系統(tǒng)，以適應(yīng)不同級別用戶的需求。前者具有部署成本低、環(huán)境適應(yīng)性強、方便易用的特點；后者優(yōu)勢則在于更高追蹤精度以及更強的魯棒性。

NVIDIA Isaac Sim 是一套應(yīng)用 AI 與仿真工具/平臺，允許開發(fā)者在基于物理的虛擬環(huán)境中設(shè)計、仿真、測試和訓(xùn)練基于 AI 的機器人和自主機器。NVIDIA Isaac Sim 提供虛擬環(huán)境、各類機器人以及自主機器的物理精確的 SimReady 3D 資產(chǎn)，這些資產(chǎn)建立在高度逼真的物理仿真基礎(chǔ)之上，可以模擬真實環(huán)境下存在的力矩、摩擦、空間干擾以及自干擾等因素，使開發(fā)者可以在虛擬環(huán)境中加速機器人算法的開發(fā)和測試過程。

基于自定義的 MocapApi 接口，諾亦騰實現(xiàn)了動作捕捉系統(tǒng)與 NVIDIA Isaac Sim 的數(shù)據(jù)聯(lián)通，從而基于現(xiàn)有算法，快速接入動作捕捉和高精度追蹤數(shù)據(jù)流，實時驅(qū)動仿真環(huán)境下的虛擬機器人本體或者真實的機器人本體，用遙操作的模式完成任務(wù)，采集數(shù)據(jù)。除此之外，還可以在機器人自主任務(wù)完成的過程中實現(xiàn)快速人工干預(yù)覆蓋失敗場景。

動作捕捉數(shù)據(jù)到 NVIDIA Isaac 及具身智能機器人本體/數(shù)據(jù)集產(chǎn)出

基于數(shù)據(jù)，特別是通過動作捕捉獲取的真實人類動作數(shù)據(jù)，對機器人控制基礎(chǔ)模型進行訓(xùn)練，并通過遙操作收集真實訓(xùn)練數(shù)據(jù)集，從而提升具身智能算法，已成為具身智能機器人學(xué)界與業(yè)界的重要科研共識。

具身智能機器人的數(shù)據(jù)采集與算法訓(xùn)練，可通過“基于真實本體”“基于虛擬本體”或“完全基于人體動作捕捉”等方式實現(xiàn)。其中基于真實本體方式能夠最大程度反映真實世界的物理特性，其余方式雖然成本可控，但均存在一定程度上的 Domain Gap。

基于真實本體的數(shù)據(jù)集生產(chǎn) - 手部動作捕捉遙操作智元遠征 A2 機器人靈巧手

諾亦騰基于 NVIDIA Isaac 以及動作捕捉/高精度追蹤技術(shù)構(gòu)建出 HITL 解決方案，攜手業(yè)界合作伙伴智元機器人，共同探索提升算法的「Sim2Real2Sim」路徑。

結(jié)合了動作捕捉/高精度追蹤硬件設(shè)備和 NVIDIA Isaac 平臺的 HITL 解決方案易于搭建，可高效運轉(zhuǎn)，具備快速構(gòu)建大規(guī)模具身智能數(shù)據(jù)工廠的能力。

基于 NVIDIA Isaac 平臺的豐富生態(tài)與標(biāo)準(zhǔn)化接口，該解決方案能夠快速打通各類具身智能機器人本體和自主機器之間的數(shù)據(jù)障礙，實現(xiàn)快速部署和擴展，從而幫助用戶搭建大規(guī)模具身智能數(shù)據(jù)集生產(chǎn)流水線。

大規(guī)模具身智能機器人訓(xùn)練數(shù)據(jù)集生產(chǎn)工廠（Data Factory）示意圖