CorrI2P: Deep Image-to-Point Cloud Registration via Dense Correspondence

要約

本論文では、2次元画像を3次元点群に位置決めするための重要なステップは、両者の2次元-3次元対応関係を確立することであるという直観に基づき、画像-点群登録問題に取り組むための、特徴に基づく高密度対応フレームワークを初めて提案する。このフレームワークは、特徴埋め込み、対称的な重複領域検出、確立した対応関係を通じた姿勢推定という3モジュールから構成され、 CorrI2Pと名づけられた。具体的には、2次元画像と3次元点群の組が与えられたとき、まずそれらを高次元特徴空間に変換し、得られた特徴を対称重複領域検出器に与えて画像と点群が互いに重なる領域を決定する。そして、重複領域の特徴量を用いて2D-3D対応を確立してから、RANSAC内でEPnPを実行し、カメラの姿勢を推定する。KITTIとNuScenesのデータセットで実験した結果、我々のCorrI2Pは、最新の画像から点群への登録手法を大きく上回ることが分かりました。このコードは一般に公開される予定です。

要約(オリジナル)

Motivated by the intuition that the critical step of localizing a 2D image in the corresponding 3D point cloud is establishing 2D-3D correspondence between them, we propose the first feature-based dense correspondence framework for addressing the image-to-point cloud registration problem, dubbed CorrI2P, which consists of three modules, i.e., feature embedding, symmetric overlapping region detection, and pose estimation through the established correspondence. Specifically, given a pair of a 2D image and a 3D point cloud, we first transform them into high-dimensional feature space and feed the resulting features into a symmetric overlapping region detector to determine the region where the image and point cloud overlap each other. Then we use the features of the overlapping regions to establish the 2D-3D correspondence before running EPnP within RANSAC to estimate the camera’s pose. Experimental results on KITTI and NuScenes datasets show that our CorrI2P outperforms state-of-the-art image-to-point cloud registration methods significantly. We will make the code publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL