Visually Guided Model Predictive Robot Control via 6D Object Pose Localization and Tracking

要約

この研究の目的は、ロボットに搭載されたカメラを使用して、動的に移動するオブジェクトの 6D 姿勢に関する操作タスクを可能にすることです。
例としては、物体に対するロボット アームの相対的な 6D 姿勢を一定に維持すること、動的に移動する物体を掴むこと、または人間と物体を共同操作することが含まれます。
このような状況でスムーズで安定したロボット制御を実現するには、高速かつ正確な 6D 姿勢推定が不可欠です。
この研究の貢献は 3 つあります。
まず、正確な学習ベースの 6D オブジェクトポーズローカライザーと高速モデルベースの 6D ポーズトラッカーを非同期的に組み合わせる新しい視覚認識モジュールを提案します。
その結果、最大 120 Hz の入力ビデオ ストリームから、低遅延で正確で時間的に一貫した 6D オブジェクトの姿勢推定が可能になります。
次に、新しい視覚認識モジュールとトルクベースのモデル予測制御アルゴリズムを組み合わせた、視覚的に誘導されるロボット アーム コントローラーを開発します。
視覚信号とロボットの固有受容信号を対応する周波数で非同期に組み合わせることで、安定した堅牢な 6D オブジェクト姿勢誘導ロボット アーム制御が実現します。
3 番目に、提案されたアプローチを挑戦的な 6D 姿勢推定ベンチマークで実験的に検証し、実際の 7 DoF Franka Emika Panda ロボット上で動的に移動するオブジェクトを使用した 6D オブジェクト姿勢ガイド制御を実証します。

要約(オリジナル)

The objective of this work is to enable manipulation tasks with respect to the 6D pose of a dynamically moving object using a camera mounted on a robot. Examples include maintaining a constant relative 6D pose of the robot arm with respect to the object, grasping the dynamically moving object, or co-manipulating the object together with a human. Fast and accurate 6D pose estimation is crucial to achieve smooth and stable robot control in such situations. The contributions of this work are three fold. First, we propose a new visual perception module that asynchronously combines accurate learning-based 6D object pose localizer and a high-rate model-based 6D pose tracker. The outcome is a low-latency accurate and temporally consistent 6D object pose estimation from the input video stream at up to 120 Hz. Second, we develop a visually guided robot arm controller that combines the new visual perception module with a torque-based model predictive control algorithm. Asynchronous combination of the visual and robot proprioception signals at their corresponding frequencies results in stable and robust 6D object pose guided robot arm control. Third, we experimentally validate the proposed approach on a challenging 6D pose estimation benchmark and demonstrate 6D object pose-guided control with dynamically moving objects on a real 7 DoF Franka Emika Panda robot.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google