Spatial Feature Mapping for 6DoF Object Pose Estimation

要約

この作業は、背景の乱雑さにおける6Dof（6D）オブジェクトのポーズを推定することを目的としています。
強いオクルージョンとバックグラウンドノイズを考慮して、この困難なタスクによりよく取り組むために空間構造を利用することを提案します。
3Dメッシュはグラフによって自然に抽象化できることを確認し、頂点として3Dポイントを使用し、エッジとしてメッシュ接続を使用してグラフを作成します。
グラフを塗りつぶし、2Dと3Dの特徴を融合するために、2D画像の特徴から3Dポイントへの対応するマッピングを構築します。
その後、グラフ畳み込みネットワーク（GCN）が適用され、3D空間内のオブジェクトのポイント間の機能交換が容易になります。
オブジェクトの回転対称性のあいまいさの問題に対処するために、球形の畳み込みが利用され、球形の特徴がグラフにマップされた畳み込みの特徴と組み合わされます。
事前定義された3Dキーポイントが投票され、6DoFポーズがフィッティング最適化によって取得されます。
推論の2つのシナリオについて説明します。1つは深度情報あり、もう1つは深度情報なしです。
YCB-VideoとLINEMODのデータセットでテストされた実験は、提案された方法の有効性を示しています。

要約(オリジナル)

This work aims to estimate 6Dof (6D) object pose in background clutter. Considering the strong occlusion and background noise, we propose to utilize the spatial structure for better tackling this challenging task. Observing that the 3D mesh can be naturally abstracted by a graph, we build the graph using 3D points as vertices and mesh connections as edges. We construct the corresponding mapping from 2D image features to 3D points for filling the graph and fusion of the 2D and 3D features. Afterward, a Graph Convolutional Network (GCN) is applied to help the feature exchange among objects’ points in 3D space. To address the problem of rotation symmetry ambiguity for objects, a spherical convolution is utilized and the spherical features are combined with the convolutional features that are mapped to the graph. Predefined 3D keypoints are voted and the 6DoF pose is obtained via the fitting optimization. Two scenarios of inference, one with the depth information and the other without it are discussed. Tested on the datasets of YCB-Video and LINEMOD, the experiments demonstrate the effectiveness of our proposed method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google