Increasing the Task Flexibility of Heavy-Duty Manipulators Using Visual 6D Pose Estimation of Objects

要約

深いニューラルネットワークを使用したオブジェクトの視覚的な6Dポーズ推定の最近の進歩により、ヘビーデューティロボットアプリケーションの視力ベースの新しい制御方法が可能になりました。
この研究では、高度なマシンビジョンを使用して、ヘビーデューティ（HDLR）マニピュレーターの正確なツール配置のパイプラインを提示します。
カメラは、いわゆる目でのハンド構成で使用され、ツールのポーズと関心のあるターゲットオブジェクト（OOI）を直接推定します。
ツールとターゲット間のポーズエラーに基づいて、カメラとロボット間のモーションベースのキャリブレーションとともに、業界で一般的な従来のロボットモデリングと制御方法を使用して、正確なツールの位置を確実に実現できます。
提案された方法論は、視覚的に推定されたOOIポーズに基づいて方向と位置のアラインメントを含むのに対し、カメラからロボットへのキャリブレーションは、視覚的スラムを利用する動きに基づいて行われます。
この方法は、画像ベースのアルゴリズムを介して構造的に柔軟なHDLRマニピュレーターの剛体ベースの運動学に起因する不正確さを回避しようとしています。
OOIポーズ推定のために深いニューラルネットワークをトレーニングするために、合成データのみが利用されます。
メソッドは、5 mリーチのHDLRマニピュレーターを使用して、実際の設定で検証されます。
実験結果は、非深い軸に沿って2 mm未満の画像ベースの平均ツール配置エラーが達成され、非剛性HDLRマニピュレーターのタスクの柔軟性と自動化レベルを高める新しい方法を容易にすることを示しています。

要約(オリジナル)

Recent advances in visual 6D pose estimation of objects using deep neural networks have enabled novel ways of vision-based control for heavy-duty robotic applications. In this study, we present a pipeline for the precise tool positioning of heavy-duty, long-reach (HDLR) manipulators using advanced machine vision. A camera is utilized in the so-called eye-in-hand configuration to estimate directly the poses of a tool and a target object of interest (OOI). Based on the pose error between the tool and the target, along with motion-based calibration between the camera and the robot, precise tool positioning can be reliably achieved using conventional robotic modeling and control methods prevalent in the industry. The proposed methodology comprises orientation and position alignment based on the visually estimated OOI poses, whereas camera-to-robot calibration is conducted based on motion utilizing visual SLAM. The methods seek to avert the inaccuracies resulting from rigid-body–based kinematics of structurally flexible HDLR manipulators via image-based algorithms. To train deep neural networks for OOI pose estimation, only synthetic data are utilized. The methods are validated in a real-world setting using an HDLR manipulator with a 5 m reach. The experimental results demonstrate that an image-based average tool positioning error of less than 2 mm along the non-depth axes is achieved, which facilitates a new way to increase the task flexibility and automation level of non-rigid HDLR manipulators.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google