Learning 6D Pose Estimation from Synthetic RGBD Images for Robotic Applications

要約

この作業では、3D スイートの Blender を活用して、ロボット ピッキング用の 6D ポーズを含む合成 RGBD 画像データセットを生成することにより、データ生成パイプラインを提案します。
提案されたパイプラインは、対象オブジェクトの写実的な RGBD 画像を大量に効率的に生成できます。
さらに、実際のデータと合成データの間のギャップを埋めるために、ドメインのランダム化手法のコレクションが導入されています。
さらに、オブジェクト検出器 YOLO-V4-tiny と 6D 姿勢推定アルゴリズム PVN3D を時間に敏感なロボット工学アプリケーション用に統合することにより、リアルタイムの 2 段階 6D 姿勢推定アプローチを開発します。
提案されたデータ生成パイプラインを使用すると、事前トレーニング済みのモデルを使用せずに合成データのみを使用して、ポーズ推定アプローチをゼロからトレーニングできます。
得られたネットワークは、LineMod データセットで評価した場合、最先端の方法と比較して競争力のあるパフォーマンスを示しています。
また、ロボット実験で提案されたアプローチを示し、さまざまな照明条件下で雑然とした背景から家庭用オブジェクトを把握します。

要約(オリジナル)

In this work, we propose a data generation pipeline by leveraging the 3D suite Blender to produce synthetic RGBD image datasets with 6D poses for robotic picking. The proposed pipeline can efficiently generate large amounts of photo-realistic RGBD images for the object of interest. In addition, a collection of domain randomization techniques is introduced to bridge the gap between real and synthetic data. Furthermore, we develop a real-time two-stage 6D pose estimation approach by integrating the object detector YOLO-V4-tiny and the 6D pose estimation algorithm PVN3D for time sensitive robotics applications. With the proposed data generation pipeline, our pose estimation approach can be trained from scratch using only synthetic data without any pre-trained models. The resulting network shows competitive performance compared to state-of-the-art methods when evaluated on LineMod dataset. We also demonstrate the proposed approach in a robotic experiment, grasping a household object from cluttered background under different lighting conditions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google