Learning Whole-Body Loco-Manipulation for Omni-Directional Task Space Pose Tracking with a Wheeled-Quadrupedal-Manipulator

要約

この論文では、強化学習 (RL) を使用して全身の運動操作問題を研究します。
具体的には、タスク空間で直接 6 次元 (6D) エンドエフェクター (EE) 姿勢追跡を実現するために、車輪付き四足歩行ロボットのフローティング ベースとロボット アームをどのように調整するかという問題に焦点を当てます。
フローティングベースとエンドエフェクターの両方のコマンドを追跡する従来の全身移動操作問題とは異なり、直接 EE ポーズ追跡問題では、全身の動きにおける冗長な自由度間の固有のバランスが必要です。
私たちは RL を活用してこの困難な問題を解決します。
関連する問題に対処するために、さまざまなタスクに対応する報酬条件を非線形的に体系的に統合する新しい報酬融合モジュール (RFM) を開発します。
このようにして、運動器操作の問題に固有の多段階および階層的な特徴に注意深く対応することができます。
提案された RFM と教師と生徒の RL トレーニング パラダイムを組み合わせることで、車輪付き四足マニピュレーター ロボットの 6D EE 姿勢追跡を実現する完全な RL スキームを提示します。
広範なシミュレーションとハードウェア実験により、RFM の重要性が実証されています。
特にスムーズで正確なトラッキング性能を実現し、最先端のトラッキング位置誤差5cm未満、回転誤差0.1rad未満を実現しています。
その他の実験ビデオについては、https://clearlab-sustech.github.io/RFM_loco_mani/ を参照してください。

要約(オリジナル)

In this paper, we study the whole-body loco-manipulation problem using reinforcement learning (RL). Specifically, we focus on the problem of how to coordinate the floating base and the robotic arm of a wheeled-quadrupedal manipulator robot to achieve direct six-dimensional (6D) end-effector (EE) pose tracking in task space. Different from conventional whole-body loco-manipulation problems that track both floating-base and end-effector commands, the direct EE pose tracking problem requires inherent balance among redundant degrees of freedom in the whole-body motion. We leverage RL to solve this challenging problem. To address the associated difficulties, we develop a novel reward fusion module (RFM) that systematically integrates reward terms corresponding to different tasks in a nonlinear manner. In such a way, the inherent multi-stage and hierarchical feature of the loco-manipulation problem can be carefully accommodated. By combining the proposed RFM with the a teacher-student RL training paradigm, we present a complete RL scheme to achieve 6D EE pose tracking for the wheeled-quadruped manipulator robot. Extensive simulation and hardware experiments demonstrate the significance of the RFM. In particular, we enable smooth and precise tracking performance, achieving state-of-the-art tracking position error of less than 5 cm, and rotation error of less than 0.1 rad. Please refer to https://clearlab-sustech.github.io/RFM_loco_mani/ for more experimental videos.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google