Multi-view object pose estimation from correspondence distributions and epipolar geometry

要約

剛体オブジェクトの操作を含む多くの自動化タスクでは、オブジェクトのポーズを取得する必要があります。
単一の RGB または RGB-D センサーを使用した視覚ベースの姿勢推定は、その幅広い適用性のために特に人気があります。
ただし、単一ビューの姿勢推定は、奥行きのあいまいさと、オクルージョン、セルフ オクルージョン、反射などのさまざまな現象によって課せられるあいまいさによって本質的に制限されます。複数のビューからの情報を集約することで、これらのあいまいさを解決できる可能性がありますが、現状では
-art マルチビュー ポーズ推定方法は、複数のビューのみを使用して単一ビューのポーズ推定を集計するため、良好なシングル ビュー推定値の取得に依存します。
初期推定とオプションの改良の両方のために、複数のビューから学習した 2D-3D 分布を集約するマルチビュー姿勢推定法を提示します。
私たちの方法は、対称性などの視覚的な曖昧さを尊重するように暗黙的に訓練された学習済みの 2D-3D 対応分布を使用して、エピポーラ制約下で 3D-3D 対応の確率的サンプリングを実行します。
T-LESS データセットでの評価は、私たちの方法が最良の単一ビュー方法と比較して姿勢推定エラーを 80 ～ 91% 削減することを示しています。
5 つおよび 8 つのビューを使用する方法を使用します。

要約(オリジナル)

In many automation tasks involving manipulation of rigid objects, the poses of the objects must be acquired. Vision-based pose estimation using a single RGB or RGB-D sensor is especially popular due to its broad applicability. However, single-view pose estimation is inherently limited by depth ambiguity and ambiguities imposed by various phenomena like occlusion, self-occlusion, reflections, etc. Aggregation of information from multiple views can potentially resolve these ambiguities, but the current state-of-the-art multi-view pose estimation method only uses multiple views to aggregate single-view pose estimates, and thus rely on obtaining good single-view estimates. We present a multi-view pose estimation method which aggregates learned 2D-3D distributions from multiple views for both the initial estimate and optional refinement. Our method performs probabilistic sampling of 3D-3D correspondences under epipolar constraints using learned 2D-3D correspondence distributions which are implicitly trained to respect visual ambiguities such as symmetry. Evaluation on the T-LESS dataset shows that our method reduces pose estimation errors by 80-91% compared to the best single-view method, and we present state-of-the-art results on T-LESS with four views, even compared with methods using five and eight views.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google