CorrI2P: Deep Image-to-Point Cloud Registration via Dense Correspondence

要約

対応する 3D 点群で 2D 画像をローカライズする重要なステップは、それらの間の 2D-3D 対応を確立することであるという直感に動機付けられて、画像から点群への登録問題に対処するための最初の機能ベースの密な対応フレームワークを提案します。
CorrI2P と呼ばれ、特徴の埋め込み、対称的な重複領域の検出、および確立された対応関係による姿勢推定の 3 つのモジュールで構成されます。
具体的には、2D 画像と 3D 点群のペアが与えられた場合、まずそれらを高次元の特徴空間に変換し、結果の特徴を対称重複領域検出器に入力して、画像と点群が互いに重複する領域を決定します。
次に、RANSAC 内で EPnP を実行してカメラの姿勢を推定する前に、重なり合う領域の特徴を使用して 2D と 3D の対応を確立します。
KITTI および NuScenes データセットの実験結果は、CorrI2P が最先端の画像から点群への登録方法よりも大幅に優れていることを示しています。
コードを公開します。

要約(オリジナル)

Motivated by the intuition that the critical step of localizing a 2D image in the corresponding 3D point cloud is establishing 2D-3D correspondence between them, we propose the first feature-based dense correspondence framework for addressing the image-to-point cloud registration problem, dubbed CorrI2P, which consists of three modules, i.e., feature embedding, symmetric overlapping region detection, and pose estimation through the established correspondence. Specifically, given a pair of a 2D image and a 3D point cloud, we first transform them into high-dimensional feature space and feed the resulting features into a symmetric overlapping region detector to determine the region where the image and point cloud overlap each other. Then we use the features of the overlapping regions to establish the 2D-3D correspondence before running EPnP within RANSAC to estimate the camera’s pose. Experimental results on KITTI and NuScenes datasets show that our CorrI2P outperforms state-of-the-art image-to-point cloud registration methods significantly. We will make the code publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google