Visual Manipulation with Legs

要約

動物は移動と操作の両方に手足を使います。
私たちは四足ロボットにも同様の多用途性を持たせることを目指しています。
この作品では、掴みにくい操作から着想を得た、四足ロボットが脚を使って物体と対話できるシステムを紹介します。
このシステムには、視覚操作ポリシー モジュールとロコマニピュレーター モジュールという 2 つの主要コンポーネントがあります。
視覚操作ポリシーは、点群の観察とオブジェクト中心のアクションを使用した強化学習 (RL) でトレーニングされ、脚がオブジェクトとどのように対話するかを決定します。
ロコマニピュレーター コントローラーは、インピーダンス制御とモデル予測制御 (MPC) に基づいて、脚の動きと体の姿勢の調整を管理します。
一本の脚でオブジェクトを操作するだけでなく、システムはクリティカルマップに基づいて左脚または右脚を選択し、ベース調整を通じてオブジェクトを遠くのゴールに移動させることができます。
実験では、シミュレーションと現実世界の両方でオブジェクトの姿勢調整タスクに関するシステムを評価し、以前の研究よりも脚を使ったより汎用性の高いオブジェクト操作スキルを実証しました。
ビデオは https://legged-manipulation.github.io/ でご覧いただけます。

要約(オリジナル)

Animals use limbs for both locomotion and manipulation. We aim to equip quadruped robots with similar versatility. This work introduces a system that enables quadruped robots to interact with objects using their legs, inspired by non-prehensile manipulation. The system has two main components: a visual manipulation policy module and a loco-manipulator module. The visual manipulation policy, trained with reinforcement learning (RL) using point cloud observations and object-centric actions, decides how the leg should interact with the object. The loco-manipulator controller manages leg movements and body pose adjustments, based on impedance control and Model Predictive Control (MPC). Besides manipulating objects with a single leg, the system can select from the left or right leg based on critic maps and move objects to distant goals through base adjustment. Experiments evaluate the system on object pose alignment tasks in both simulation and the real world, demonstrating more versatile object manipulation skills with legs than previous work. Videos can be found at https://legged-manipulation.github.io/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google