Corr2Distrib: Making Ambiguous Correspondences an Ally to Predict Reliable 6D Pose Distributions

要約

RGB画像からの6Dカメラのポーズ分布を推定する最初の対応ベースの方法であるCorr2Distribを紹介し、観測を説明します。
実際、対称性と閉塞は視覚的なあいまいさをもたらし、複数の有効なポーズにつながります。
いくつかの最近の方法はこの問題に取り組んでいますが、BOPチャレンジによれば、現在、単一の6DOFポーズソリューションを推定する最も効果的な方法であるローカル対応に依存していません。
対応を使用してポーズ分布を推定することは簡単ではありません。なぜなら、視覚的なあいまいさによって誘導される曖昧な対応はPNPのパフォーマンスを大幅に減少させるからです。
Corr2Distribを使用すると、これらのあいまいさを有利に変えて、すべての有効なポーズを回復します。
Corr2Distribは、最初に、記述子とローカルフレームを特徴とするオブジェクトの表面の各3Dポイントの対称的な表現を学習します。
この表現により、単一の2D-3D対応からの3DOF回転仮説の生成が可能になります。
次に、PNPとポーズスコアリングを使用して、これらの仮説を6DOFポーズ分布に改良します。
複雑な非合成シーンに関する実験的評価は、Corr2DistribがRGB画像からのポーズ分布推定と単一のポーズ推定の両方に対して最先端のソリューションを上回ることを示しており、対応ベースのアプローチの可能性を示しています。

要約(オリジナル)

We introduce Corr2Distrib, the first correspondence-based method which estimates a 6D camera pose distribution from an RGB image, explaining the observations. Indeed, symmetries and occlusions introduce visual ambiguities, leading to multiple valid poses. While a few recent methods tackle this problem, they do not rely on local correspondences which, according to the BOP Challenge, are currently the most effective way to estimate a single 6DoF pose solution. Using correspondences to estimate a pose distribution is not straightforward, since ambiguous correspondences induced by visual ambiguities drastically decrease the performance of PnP. With Corr2Distrib, we turn these ambiguities into an advantage to recover all valid poses. Corr2Distrib first learns a symmetry-aware representation for each 3D point on the object’s surface, characterized by a descriptor and a local frame. This representation enables the generation of 3DoF rotation hypotheses from single 2D-3D correspondences. Next, we refine these hypotheses into a 6DoF pose distribution using PnP and pose scoring. Our experimental evaluations on complex non-synthetic scenes show that Corr2Distrib outperforms state-of-the-art solutions for both pose distribution estimation and single pose estimation from an RGB image, demonstrating the potential of correspondences-based approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google