AirExo-2: Scaling up Generalizable Robotic Imitation Learning with Low-Cost Exoskeletons

要約

ロボットによる模倣学習を実世界での応用に拡大するには、効率的でスケーラブルな実証収集方法が必要である。遠隔操作は効果的ではあるが、高価で柔軟性に欠けるロボットプラットフォームに依存する。野生のデモンストレーションは有望な代替手段を提供するが、既存の収集装置には重要な限界がある。ハンドヘルドのセットアップでは観測範囲が限定され、全身システムでは領域のギャップのためにロボットデータとの微調整が必要になることが多い。これらの課題に対処するために、我々は、大規模な野生データ収集のための低コストの外骨格システムであるAirExo-2と、収集したデータを政策学習に適した擬似ロボットのデモンストレーションに変換するいくつかのアダプターを紹介する。さらに、RISE-2を紹介する。RISE-2は、ロバストな操作のために3次元空間知覚と2次元意味知覚を融合した、一般化可能な模倣学習ポリシーである。実験の結果、RISE-2は、領域内評価と汎化評価の両方において、先行する最先端手法を凌駕することが示された。AirExo-2によって生成された適応された野生データのみで訓練されたRISE-2ポリシーは、遠隔操作データで訓練されたポリシーと同等の性能を達成し、スケーラブルで一般化可能な模倣学習のためのAirExo-2の有効性と可能性を強調している。

要約(オリジナル)

Scaling up robotic imitation learning for real-world applications requires efficient and scalable demonstration collection methods. While teleoperation is effective, it depends on costly and inflexible robot platforms. In-the-wild demonstrations offer a promising alternative, but existing collection devices have key limitations: handheld setups offer limited observational coverage, and whole-body systems often require fine-tuning with robot data due to domain gaps. To address these challenges, we present AirExo-2, a low-cost exoskeleton system for large-scale in-the-wild data collection, along with several adaptors that transform collected data into pseudo-robot demonstrations suitable for policy learning. We further introduce RISE-2, a generalizable imitation learning policy that fuses 3D spatial and 2D semantic perception for robust manipulations. Experiments show that RISE-2 outperforms prior state-of-the-art methods on both in-domain and generalization evaluations. Trained solely on adapted in-the-wild data produced by AirExo-2, the RISE-2 policy achieves comparable performance to the policy trained with teleoperated data, highlighting the effectiveness and potential of AirExo-2 for scalable and generalizable imitation learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL