Category-Agnostic 6D Pose Estimation with Conditional Neural Processes

要約

未知の物体の 6D 姿勢推定のための新しいメタ学習アプローチを紹介します。
「インスタンス レベル」および「カテゴリ レベル」の姿勢推定方法とは対照的に、私たちのアルゴリズムはカテゴリに依存しない方法でオブジェクト表現を学習するため、オブジェクト カテゴリ全体にわたる強力な一般化機能が備わっています。
具体的には、ニューラル プロセス ベースのメタ学習アプローチを採用し、非常に少数の RGB-D 画像とグラウンド トゥルース キーポイントに基づいて、潜在表現内のオブジェクトのテクスチャとジオメトリをキャプチャするエンコーダーをトレーニングします。
次に、潜在表現は同時にメタトレーニングされたデコーダーによって使用され、新しい画像内のオブジェクトの 6D 姿勢を予測します。
さらに、各オブジェクトに固有の幾何学的制約を明示的に考慮するグラフ ニューラル ネットワーク (GNN) を使用した、キーポイント予測のための新しい幾何学認識デコーダを提案します。
私たちのアルゴリズムを評価するために、\linemod データセットと、複数のシーンの複数のカテゴリ (MCMS) から生成された新しい完全にアノテーションが付けられた合成データセットに対して広範な実験が行われます。
実験結果は、形状や外観が非常に異なる目に見えないオブジェクトに対してモデルが良好に機能することを示しています。
注目すべきことに、私たちのモデルは、オクルージョンのないデータで完全にトレーニングされているにもかかわらず、オクルージョンのあるシーンでも堅牢なパフォーマンスを示しています。
私たちの知る限り、これは \textbf{クロスカテゴリ レベル} 6D 姿勢推定を検討した最初の研究です。

要約(オリジナル)

We present a novel meta-learning approach for 6D pose estimation on unknown objects. In contrast to “instance-level’ and “category-level’ pose estimation methods, our algorithm learns object representation in a category-agnostic way, which endows it with strong generalization capabilities across object categories. Specifically, we employ a neural process-based meta-learning approach to train an encoder to capture texture and geometry of an object in a latent representation, based on very few RGB-D images and ground-truth keypoints. The latent representation is then used by a simultaneously meta-trained decoder to predict the 6D pose of the object in new images. Furthermore, we propose a novel geometry-aware decoder for the keypoint prediction using a Graph Neural Network (GNN), which explicitly takes geometric constraints specific to each object into consideration. To evaluate our algorithm, extensive experiments are conducted on the \linemod dataset, and on our new fully-annotated synthetic datasets generated from Multiple Categories in Multiple Scenes (MCMS). Experimental results demonstrate that our model performs well on unseen objects with very different shapes and appearances. Remarkably, our model also shows robust performance on occluded scenes although trained fully on data without occlusion. To our knowledge, this is the first work exploring \textbf{cross-category level} 6D pose estimation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google