Visual Whole-Body Control for Legged Loco-Manipulation

要約

私たちは、アームを備えた脚式ロボットを用いた移動マニピュレーション、すなわち脚式ロコマニピュレーションの問題を研究しています。
ロボットの脚は通常移動のために利用されますが、全身制御を行うことで操作能力を増幅する機会を提供します。
つまり、ロボットは脚と腕を同時に制御して作業スペースを拡張できます。
視覚観察により自律的に全身制御を行うフレームワークを提案する。
私たちのアプローチ、つまり Visual Whole-Body Control(VBC) は、エンドエフェクターの位置とともに身体の速度を追跡するためにあらゆる自由度を使用する低レベルのポリシーと、速度とエンドエフェクターの位置を提案する高レベルのポリシーで構成されています。
-視覚入力に基づくエフェクターの位置。
両方のレベルのポリシーをシミュレーションでトレーニングし、実際のロボット展開のために Sim2Real 転送を実行します。
私たちは広範な実験を実施し、異なる構成 (高さ、場所、向き) や環境で多様な物体を拾い上げる際に、ベースラインに比べて大幅な改善が見られました。

要約(オリジナル)

We study the problem of mobile manipulation using legged robots equipped with an arm, namely legged loco-manipulation. The robot legs, while usually utilized for mobility, offer an opportunity to amplify the manipulation capabilities by conducting whole-body control. That is, the robot can control the legs and the arm at the same time to extend its workspace. We propose a framework that can conduct the whole-body control autonomously with visual observations. Our approach, namely Visual Whole-Body Control(VBC), is composed of a low-level policy using all degrees of freedom to track the body velocities along with the end-effector position, and a high-level policy proposing the velocities and end-effector position based on visual inputs. We train both levels of policies in simulation and perform Sim2Real transfer for real robot deployment. We perform extensive experiments and show significant improvements over baselines in picking up diverse objects in different configurations (heights, locations, orientations) and environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google