SLIM: Sim-to-Real Legged Instructive Manipulation via Long-Horizon Visuomotor Learning

要約

純粋にシミュレーションで補強学習によって訓練された、長距離の現実世界のタスクを解決する低コストの脚のモバイル操作システムを紹介します。
このシステムは、1）タスク命令に従って視覚モバイル操作のための高レベルのポリシーの階層設計と、低レベルの四足運動ポリシー、2）高レベルの教師と生徒のトレーニングパイプライン、
特権タスク分解とターゲットオブジェクト情報を使用して長距離タスクに取り組む教師は、教師の行動に導かれたRLを介して視覚モバイル操作のために生徒をさらに訓練し、3）SIM-torealを最小化するためのテクニックのスイート
ギャップ。
ハイエンド機器を使用する多くの以前の作品とは対照的に、私たちのシステムは、よりアクセスしやすいハードウェア（具体的には、単位GO1四足動物、未亡人250Sアーム、および単一の手首に取り付けられたRGBカメラ）で効果的なパフォーマンスを示しています。
SIMからリアルへの課題。
シミュレーションで完全に訓練された単一のポリシーは、検索、移動、把握、輸送、ドロップを含む長距離タスクを自律的に解決し、80％近くの実世界の成功を達成します。
このパフォーマンスは、同じタスクでの専門的な人間のテレオ操作のパフォーマンスに匹敵しますが、ロボットの方が効率的で、テレオ操作の速度は約1.5倍で動作します。
最後に、効率的なRLトレーニングと効果的なSIMからリアルへの転送のための重要なテクニックに関する広範なアブレーションを実行し、さまざまな照明条件下で多様な屋内および屋外シーン全体で効果的な展開を実証します。

要約(オリジナル)

We present a low-cost legged mobile manipulation system that solves long-horizon real-world tasks, trained by reinforcement learning purely in simulation. This system is made possible by 1) a hierarchical design of a high-level policy for visual-mobile manipulation following task instructions, and a low-level quadruped locomotion policy, 2) a teacher and student training pipeline for the high level, which trains a teacher to tackle long-horizon tasks using privileged task decomposition and target object information, and further trains a student for visual-mobile manipulation via RL guided by the teacher’s behavior, and 3) a suite of techniques for minimizing the sim-to-real gap. In contrast to many previous works that use high-end equipments, our system demonstrates effective performance with more accessible hardware — specifically, a Unitree Go1 quadruped, a WidowX-250S arm, and a single wrist-mounted RGB camera — despite the increased challenges of sim-to-real transfer. Trained fully in simulation, a single policy autonomously solves long-horizon tasks involving search, move to, grasp, transport, and drop into, achieving nearly 80% real-world success. This performance is comparable to that of expert human teleoperation on the same tasks while the robot is more efficient, operating at about 1.5x the speed of the teleoperation. Finally, we perform extensive ablations on key techniques for efficient RL training and effective sim-to-real transfer, and demonstrate effective deployment across diverse indoor and outdoor scenes under various lighting conditions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google