SLIM: Sim-to-Real Legged Instructive Manipulation via Long-Horizon Visuomotor Learning

要約

純粋にシミュレーションでの強化学習によって訓練された、長期にわたる現実世界のタスクを解決する低コストの四足操作システムを紹介します。
このシステムは、1) 指示に従う視覚モバイル操作のための高レベルのポリシーの階層設計と、四足歩行と四肢制御のための低レベルのポリシー、2) 長期的なタスクを解決するための漸進的なポリシー拡張アプローチで構成されます。
これには、高レベルの視覚運動ポリシーの効率的な高レベルトレーニングのための教師と生徒のフレームワーク、および 3) シミュレーションと実際のギャップを最小限に抑えるための一連のテクニックが含まれます。
予算に優しいものの、信頼性とパフォーマンスが限られているハードウェアと、手首に取り付けられた RGB カメラ 1 台だけを備えたシステム全体は、シミュレーションで完全に訓練されており、流動的なシミュレーションを使用して、検索、移動、把握、ドロップインを含む長期にわたるタスクで高い成功率を達成します。
-屋内および屋外のさまざまなシーンや照明条件での現実への転送。広範な現実世界の評価により、長期にわたるモバイル操作タスクにおいて、当社のシステムは現実への転送時にタスクの成功率と照明条件の両方の点で優れたパフォーマンスを達成することが示されています。
実行効率。
最後に、脚付きモバイル操作のためのシミュレーションからリアルへの技術の必要性について議論し、そのアブレーション性能を示します。

要約(オリジナル)

We present a low-cost quadruped manipulation system that solves long-horizon real-world tasks, trained by reinforcement learning purely in simulation. The system comprises 1) a hierarchical design of a high-level policy for visual-mobile manipulation following instructions, and a low-level policy for quadruped movement and limb-control, 2) a progressive policy expansion approach for solving the long-horizon task together with a teacher-student framework for efficient high-level training of the high-level visuomotor policy, and 3) a suite of techniques for minimizing sim-to-real gaps. With budget-friendly but limited reliability and performance hardware, and just one wrist-mounted RGB camera, the entire system fully trained in simulation achieves high success rates for long horizon tasks involving search, move, grasp, and drop-into, with fluid sim-to-real transfer in a wide variety of indoor and outdoor scenes and lighting conditions.Extensive real-world evaluations show that on the long horizon mobile manipulation tasks, our system achieves good performance when transferred to real both in terms of task success rate and execution efficiency. Finally, we discuss the necessity of our sim-to-real techniques for legged mobile manipulation, and show their ablation performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google