CLONE: Closed-Loop Whole-Body Humanoid Teleoperation for Long-Horizon Tasks

要約

ヒューマノイドテレオペレーションは、複雑なヒューマノイドシーン相互作用のデータを実証および収集する上で重要な役割を果たします。
ただし、現在の遠隔操作システムは、重大な制限に直面しています。安定性を維持するために上半身と下半身の制御を切り離し、自然な調整を制限し、リアルタイムの位置フィードバックなしで開放ループを動作させ、蓄積されたドリフトにつながります。
基本的な課題は、正確なグローバルポジショニングを維持しながら、長期にわたって正確で調整された全身の視覚操作を達成することです。
ここでは、閉ループエラー補正を備えたMOEベースのテレオ操作システムであるクローンが、前例のない全身のテレオ操作の忠実度を可能にし、MRヘッドセットからのヘッドとハンドトラッキングのみを使用して、長距離軌道上の最小限の位置ドリフトを維持することを示します。
安定性の調整を犠牲にするか、無制限のドリフトに苦しむ以前の方法とは異なり、クローンはリアルタイムのフィードバックによる追跡エラーの蓄積を防ぎ、「地面からオブジェクトを拾う」などの複雑な調整された動きを可能にします。

要約(オリジナル)

Humanoid teleoperation plays a vital role in demonstrating and collecting data for complex humanoid-scene interactions. However, current teleoperation systems face critical limitations: they decouple upper- and lower-body control to maintain stability, restricting natural coordination, and operate open-loop without real-time position feedback, leading to accumulated drift. The fundamental challenge is achieving precise, coordinated whole-body teleoperation over extended durations while maintaining accurate global positioning. Here we show that an MoE-based teleoperation system, CLONE, with closed-loop error correction enables unprecedented whole-body teleoperation fidelity, maintaining minimal positional drift over long-range trajectories using only head and hand tracking from an MR headset. Unlike previous methods that either sacrifice coordination for stability or suffer from unbounded drift, CLONE learns diverse motion skills while preventing tracking error accumulation through real-time feedback, enabling complex coordinated movements such as “picking up objects from the ground.” These results establish a new milestone for whole-body humanoid teleoperation for long-horizon humanoid-scene interaction tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google