EARL: Eye-on-Hand Reinforcement Learner for Dynamic Grasping with Active Pose Estimation

要約

この論文では、手と目の協調システムのアクティブな姿勢追跡と強化学習を通じて、移動する物体の動的把握を検討します。
既存の視覚ベースのロボットによる把握方法のほとんどは、対象物体が静止しているか、予測どおりに移動していることを暗黙的に前提としています。
予測できない動きをする物体の把握には、特有の一連の課題が伴います。
たとえば、事前に計算された堅牢な把握は、ターゲット オブジェクトが移動すると到達できなくなったり、不安定になったりする可能性があり、動作計画も適応的である必要があります。
この研究では、結合された Eye-on-Hand (EoH) ロボット操作システムが、リアルタイムのアクティブな姿勢追跡と新しいオブジェクトの動的把握を実行できるようにする新しいアプローチである Eye-on-hAnd 強化学習器 (EARL) を紹介します。
明示的な動き予測。
EARL は、視覚からの 6D オブジェクトのポーズの高速追跡、カメラの視野内にオブジェクトを維持しながら移動オブジェクトを追跡するためのロボット アームの制御ポリシーの学習、動的実行など、自動化された手と目の調整における多くの厄介な問題に容易に対処します。
掴むこと。
私たちは、シミュレーションと現実世界の複雑なタスクの両方において、複数の商用ロボットアームで検証された広範な実験で、私たちのアプローチの有効性を実証しています。

要約(オリジナル)

In this paper, we explore the dynamic grasping of moving objects through active pose tracking and reinforcement learning for hand-eye coordination systems. Most existing vision-based robotic grasping methods implicitly assume target objects are stationary or moving predictably. Performing grasping of unpredictably moving objects presents a unique set of challenges. For example, a pre-computed robust grasp can become unreachable or unstable as the target object moves, and motion planning must also be adaptive. In this work, we present a new approach, Eye-on-hAnd Reinforcement Learner (EARL), for enabling coupled Eye-on-Hand (EoH) robotic manipulation systems to perform real-time active pose tracking and dynamic grasping of novel objects without explicit motion prediction. EARL readily addresses many thorny issues in automated hand-eye coordination, including fast-tracking of 6D object pose from vision, learning control policy for a robotic arm to track a moving object while keeping the object in the camera’s field of view, and performing dynamic grasping. We demonstrate the effectiveness of our approach in extensive experiments validated on multiple commercial robotic arms in both simulations and complex real-world tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google