MaFreeI2P: A Matching-Free Image-to-Point Cloud Registration Paradigm with Active Camera Pose Retrieval

要約

画像から点群への登録では、相対的なカメラの姿勢を推定しようとしますが、データ モダリティのギャップにより未解決の問題が残ります。
最近のマッチングベースの手法は、2D と 3D の対応関係を構築することでこれに取り組む傾向があります。
この論文では、これらの方法に固有の情報損失を明らかにし、MaFreeI2P と呼ばれるマッチングフリーのパラダイムを提案します。
私たちの重要な洞察は、点群とクエリ画像の間の幾何学的特徴を対比することによって、SE(3) 空間内のカメラのポーズをアクティブに取得することです。
これを達成するために、まず候補となるカメラ ポーズのセットをサンプリングし、クロスモーダル機能を使用してそれらのコスト ボリュームを構築します。
マッチングよりも優れているため、コスト ボリュームはより多くの情報を保存でき、その特徴の類似性はサンプリングされたポーズの信頼レベルを暗黙的に反映します。
その後、畳み込みネットワークを使用して類似性評価関数を適応的に定式化し、入力コスト量はフィルタリングと姿勢ベースの重み付けによってさらに改善されます。
最後に、類似性スコアに基づいてカメラのポーズを更新し、ヒューリスティックな戦略を採用して、収束するためにポーズのサンプリング空間を繰り返し縮小します。
当社の MaFreeI2P は、KITTI-Odometry および Apollo-DaoxiangLake データセットで非常に優れた登録精度とリコールを実現します。

要約(オリジナル)

Image-to-point cloud registration seeks to estimate their relative camera pose, which remains an open question due to the data modality gaps. The recent matching-based methods tend to tackle this by building 2D-3D correspondences. In this paper, we reveal the information loss inherent in these methods and propose a matching-free paradigm, named MaFreeI2P. Our key insight is to actively retrieve the camera pose in SE(3) space by contrasting the geometric features between the point cloud and the query image. To achieve this, we first sample a set of candidate camera poses and construct their cost volume using the cross-modal features. Superior to matching, cost volume can preserve more information and its feature similarity implicitly reflects the confidence level of the sampled poses. Afterwards, we employ a convolutional network to adaptively formulate a similarity assessment function, where the input cost volume is further improved by filtering and pose-based weighting. Finally, we update the camera pose based on the similarity scores, and adopt a heuristic strategy to iteratively shrink the pose sampling space for convergence. Our MaFreeI2P achieves a very competitive registration accuracy and recall on the KITTI-Odometry and Apollo-DaoxiangLake datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google