CoFiI2P: Coarse-to-Fine Correspondences for Image-to-Point Cloud Registration

要約

画像からポイント クラウド (I2P) への登録は、ロボットや自動運転車がクロスモダリティ データの融合と位置特定を実現するための基本的なタスクです。
現在の I2P レジストレーション方法は、主にポイントまたはピクセル レベルでの対応関係の推定に焦点を当てており、グローバル アライメントは無視されることがよくあります。
その結果、I2P マッチングは、グローバルな制約からの高レベルのガイダンスが欠けている場合でも、局所的な最適値に簡単に収束する可能性があります。
成功率と一般的な堅牢性を向上させるために、この論文では、粗い方法から細かい方法で対応関係を抽出する新しい I2P 登録ネットワークである CoFiI2P を紹介します。
まず、画像と点群データが 2 ストリームのエンコーダ/デコーダ ネットワークを通じて処理され、階層的な特徴が抽出されます。
2 番目に、粗いものから細かいものまでのマッチング モジュールは、これらの機能を活用し、堅牢な機能の対応関係を確立するように設計されています。
具体的には、粗マッチング段階では、新しい I2P 変換モジュールを使用して、画像と点群データから同種および異種の両方のグローバル情報をキャプチャします。
これにより、識別記述子を使用した粗いスーパーポイント/スーパーピクセルマッチングペアの推定が可能になります。
ファインマッチングモジュールでは、スーパーポイント/スーパーピクセル対応のガイダンスに従ってポイント/ピクセルのペアが確立されます。
最後に、一致するペアに基づいて、EPnP-RANSAC アルゴリズムを使用して変換行列が推定されます。
KITTI オドメトリ データセットで行われた実験では、CoFiI2P がリアルタイム速度を維持しながら、相対回転誤差 (RRE) が 1.14 度、相対移動誤差 (RTE) が 0.29 メートルという素晴らしい結果を達成することが実証されました。Nuscenes データセットでの追加実験
私たちの方法の一般化可能性を確認します。
プロジェクト ページは \url{https://whu-usi3dv.github.io/CoFiI2P} から入手できます。

要約(オリジナル)

Image-to-point cloud (I2P) registration is a fundamental task for robots and autonomous vehicles to achieve cross-modality data fusion and localization. Current I2P registration methods primarily focus on estimating correspondences at the point or pixel level, often neglecting global alignment. As a result, I2P matching can easily converge to a local optimum if it lacks high-level guidance from global constraints. To improve the success rate and general robustness, this paper introduces CoFiI2P, a novel I2P registration network that extracts correspondences in a coarse-to-fine manner. First, the image and point cloud data are processed through a two-stream encoder-decoder network for hierarchical feature extraction. Second, a coarse-to-fine matching module is designed to leverage these features and establish robust feature correspondences. Specifically, In the coarse matching phase, a novel I2P transformer module is employed to capture both homogeneous and heterogeneous global information from the image and point cloud data. This enables the estimation of coarse super-point/super-pixel matching pairs with discriminative descriptors. In the fine matching module, point/pixel pairs are established with the guidance of super-point/super-pixel correspondences. Finally, based on matching pairs, the transform matrix is estimated with the EPnP-RANSAC algorithm. Experiments conducted on the KITTI Odometry dataset demonstrate that CoFiI2P achieves impressive results, with a relative rotation error (RRE) of 1.14 degrees and a relative translation error (RTE) of 0.29 meters, while maintaining real-time speed.Additional experiments on the Nuscenes datasets confirm our method’s generalizability. The project page is available at \url{https://whu-usi3dv.github.io/CoFiI2P}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google