Multi-view object pose estimation from correspondence distributions and epipolar geometry

要約

剛体物体の操作を伴う多くの自動化タスクでは、物体の姿勢を取得する必要があります。単一のRGBまたはRGB-Dセンサを使用したビジョンベースの姿勢推定は、その広い適用性のために特に人気があります。しかし、単一視点での姿勢推定は、奥行き方向の曖昧さや、オクルージョン、自己閉塞、反射などの様々な現象によって生じる曖昧さによって本質的に制限されます。しかし、現在の最先端の多視点姿勢推定手法は、多視点を用いて単視点姿勢推定値を集約しているだけであり、良好な単視点姿勢推定値が得られるかどうかに依存しているのが現状です。本論文では、複数ビューから学習した2D-3D分布を集約し、初期推定と任意の絞り込みを行う多視点姿勢推定手法を提案する。本手法は、対称性などの視覚的曖昧性を考慮し暗黙のうちに学習された2D-3D対応分布を用いて、エピポーラ制約の下で3D-3D対応の確率的サンプリングを実行する。T-LESSデータセットでの評価では、本手法は単眼の最良の手法と比較して、姿勢推定誤差を80-91%削減し、4つのビューを用いたT-LESSでは、5つ、8つのビューを用いた手法と比較しても、最先端の結果を示すことが分かった。

要約(オリジナル)

In many automation tasks involving manipulation of rigid objects, the poses of the objects must be acquired. Vision-based pose estimation using a single RGB or RGB-D sensor is especially popular due to its broad applicability. However, single-view pose estimation is inherently limited by depth ambiguity and ambiguities imposed by various phenomena like occlusion, self-occlusion, reflections, etc. Aggregation of information from multiple views can potentially resolve these ambiguities, but the current state-of-the-art multi-view pose estimation method only uses multiple views to aggregate single-view pose estimates, and thus rely on obtaining good single-view estimates. We present a multi-view pose estimation method which aggregates learned 2D-3D distributions from multiple views for both the initial estimate and optional refinement. Our method performs probabilistic sampling of 3D-3D correspondences under epipolar constraints using learned 2D-3D correspondence distributions which are implicitly trained to respect visual ambiguities such as symmetry. Evaluation on the T-LESS dataset shows that our method reduces pose estimation errors by 80-91% compared to the best single-view method, and we present state-of-the-art results on T-LESS with four views, even compared with methods using five and eight views.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL