Fusing Visual Appearance and Geometry for Multi-modality 6DoF Object Tracking

要約

高度なロボット操作の多くのアプリケーションでは、6 自由度 (6DoF) のオブジェクトの姿勢推定が継続的に必要です。
この作業では、視覚的な外観とジオメトリからの情報を融合してオブジェクトのポーズを推定するマルチモダリティ トラッカーを開発します。
このアルゴリズムは、ジオメトリを使用する以前の方法 ICG を拡張して、表面の外観をさらに考慮します。
一般に、オブジェクトの表面には、テキスト、グラフィックス、およびパターンによる局所的な特徴と、異なる素材や色による全体的な違いが含まれています。
この視覚情報を組み込むために、2 つのモダリティが開発されています。
ローカル特性については、キーフレームからのポイントと現在の画像の間の距離を最小化するためにキーポイント機能が使用されます。
グローバルな違いについては、オブジェクト表面の複数の領域を考慮する新しい領域アプローチが開発されています。
さらに、外部ジオメトリのモデリングも可能です。
YCB-Video および OPT データセットでの実験では、ICG+ のアプローチが両方のデータセットで最高のパフォーマンスを発揮し、従来の方法とディープラーニング ベースの方法の両方を上回ることが実証されています。
同時に、アルゴリズムは非常に効率的で、300 Hz 以上で実行されます。
トラッカーのソースコードは公開されています。

要約(オリジナル)

In many applications of advanced robotic manipulation, six degrees of freedom (6DoF) object pose estimates are continuously required. In this work, we develop a multi-modality tracker that fuses information from visual appearance and geometry to estimate object poses. The algorithm extends our previous method ICG, which uses geometry, to additionally consider surface appearance. In general, object surfaces contain local characteristics from text, graphics, and patterns, as well as global differences from distinct materials and colors. To incorporate this visual information, two modalities are developed. For local characteristics, keypoint features are used to minimize distances between points from keyframes and the current image. For global differences, a novel region approach is developed that considers multiple regions on the object surface. In addition, it allows the modeling of external geometries. Experiments on the YCB-Video and OPT datasets demonstrate that our approach ICG+ performs best on both datasets, outperforming both conventional and deep learning-based methods. At the same time, the algorithm is highly efficient and runs at more than 300 Hz. The source code of our tracker is publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google