CoFiI2P: Coarse-to-Fine Correspondences for Image-to-Point Cloud Registration

要約

画像からポイント クラウド (I2P) への登録は、ロボットや自動運転車がクロスモダリティ データの融合と位置特定を実現するための基本的なタスクです。
既存の I2P レジストレーション方法では、点/ピクセル レベルで対応関係を推定しており、グローバル アライメントを見落とすことがよくあります。
ただし、I2P マッチングは、グローバルな制約による高レベルのガイダンスなしで実行すると、局所的な最適値に簡単に収束します。
この問題に対処するために、この文書では、大まかな方法​​から細かい方法で対応関係を抽出して全体的に最適なソリューションを実現する新しい I2P 登録ネットワークである CoFiI2P を紹介します。
まず、画像と点群データがシャム エンコーダ/デコーダ ネットワークを通じて処理され、階層的な特徴が抽出されます。
2 番目に、粗いものから細かいものまでのマッチング モジュールは、これらの機能を活用し、堅牢な機能の対応関係を確立するように設計されています。
具体的には、粗マッチング段階では、新しい I2P 変換モジュールを使用して、画像と点群データから同種および異種の両方のグローバル情報をキャプチャします。
これにより、識別記述子を使用した粗いスーパーポイント/スーパーピクセルマッチングペアの推定が可能になります。
ファインマッチングモジュールでは、スーパーポイント/スーパーピクセル対応のガイダンスに従ってポイント/ピクセルのペアが確立されます。
最後に、一致するペアに基づいて、EPnP-RANSAC アルゴリズムを使用して変換行列が推定されます。
KITTI データセットに対して行われた広範な実験により、CoFiI2P が相対回転誤差 (RRE) が 1.14 度、相対平行移動誤差 (RTE) が 0.29 メートルという素晴らしい結果が得られることが実証されました。
これらの結果は、現在の最先端 (SOTA) 手法と比較して、RRE で 84%、RTE で 89% という大幅な改善を示しています。
プロジェクト ページは \url{https://whu-usi3dv.github.io/CoFiI2P} から入手できます。

要約(オリジナル)

Image-to-point cloud (I2P) registration is a fundamental task for robots and autonomous vehicles to achieve cross-modality data fusion and localization. Existing I2P registration methods estimate correspondences at the point/pixel level, often overlooking global alignment. However, I2P matching can easily converge to a local optimum when performed without high-level guidance from global constraints. To address this issue, this paper introduces CoFiI2P, a novel I2P registration network that extracts correspondences in a coarse-to-fine manner to achieve the globally optimal solution. First, the image and point cloud data are processed through a Siamese encoder-decoder network for hierarchical feature extraction. Second, a coarse-to-fine matching module is designed to leverage these features and establish robust feature correspondences. Specifically, In the coarse matching phase, a novel I2P transformer module is employed to capture both homogeneous and heterogeneous global information from the image and point cloud data. This enables the estimation of coarse super-point/super-pixel matching pairs with discriminative descriptors. In the fine matching module, point/pixel pairs are established with the guidance of super-point/super-pixel correspondences. Finally, based on matching pairs, the transform matrix is estimated with the EPnP-RANSAC algorithm. Extensive experiments conducted on the KITTI dataset demonstrate that CoFiI2P achieves impressive results, with a relative rotation error (RRE) of 1.14 degrees and a relative translation error (RTE) of 0.29 meters. These results represent a significant improvement of 84% in RRE and 89% in RTE compared to the current state-of-the-art (SOTA) method. The project page is available at \url{https://whu-usi3dv.github.io/CoFiI2P}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google