2D3D-MATR: 2D-3D Matching Transformer for Detection-free Registration between Images and Point Clouds

要約

一般的に採用されている、検出してから照合する登録アプローチでは、互換性のないキーポイント検出と一貫性のない特徴記述により、クロスモダリティの場合に困難が生じます。
私たちは、画像と点群間の正確かつ堅牢な位置合わせのための検出不要の方法である 2D3D-MATR を提案します。
私たちの方法は、粗いから細かいへのパイプラインを採用しており、最初に入力画像のダウンサンプリングされたパッチと点群の間の粗い対応関係を計算し、次にそれらを拡張してパッチ領域内のピクセルと点の間の密な対応関係を形成します。
粗レベルのパッチ マッチングは、セルフ アテンションによるグローバル コンテキスト制約とクロス アテンションによるクロスモダリティ相関を共同学習するトランスフォーマーに基づいています。
パッチ マッチングにおけるスケールの曖昧さを解決するために、各画像パッチに対してマルチスケール ピラミッドを構築し、各ポイント パッチに対して適切な解像度レベルで最適に一致する画像パッチを見つける方法を学習します。
2 つの公開ベンチマークでの広範な実験により、2D3D-MATR が以前の最先端の P2-Net よりもインライア率で約 20 ドル パーセント ポイント、登録リコールで 10 ドル ポイント以上優れていることが実証されました。
コードとモデルは \url{https://github.com/minhaolee/2D3DMATR} で入手できます。

要約(オリジナル)

The commonly adopted detect-then-match approach to registration finds difficulties in the cross-modality cases due to the incompatible keypoint detection and inconsistent feature description. We propose, 2D3D-MATR, a detection-free method for accurate and robust registration between images and point clouds. Our method adopts a coarse-to-fine pipeline where it first computes coarse correspondences between downsampled patches of the input image and the point cloud and then extends them to form dense correspondences between pixels and points within the patch region. The coarse-level patch matching is based on transformer which jointly learns global contextual constraints with self-attention and cross-modality correlations with cross-attention. To resolve the scale ambiguity in patch matching, we construct a multi-scale pyramid for each image patch and learn to find for each point patch the best matching image patch at a proper resolution level. Extensive experiments on two public benchmarks demonstrate that 2D3D-MATR outperforms the previous state-of-the-art P2-Net by around $20$ percentage points on inlier ratio and over $10$ points on registration recall. Our code and models are available at \url{https://github.com/minhaolee/2D3DMATR}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google