CoFiI2P: Coarse-to-Fine Correspondences for Image-to-Point Cloud Registration

要約

画像からポイント クラウド (I2P) への登録は、クロスモダリティ データの融合と位置特定のための自動運転車および交通システムの分野における基本的なタスクです。
既存の I2P レジストレーション方法では、点/ピクセル レベルで対応関係を推定しており、グローバル アライメントを見落とすことがよくあります。
ただし、I2P マッチングは、グローバルな制約による高レベルのガイダンスなしで実行すると、局所的な最適値に簡単に収束します。
この問題に対処するために、この文書では、大まかな方法​​から細かい方法で対応関係を抽出して全体的に最適なソリューションを実現する新しい I2P 登録ネットワークである CoFiI2P を紹介します。
まず、画像と点群データがシャム エンコーダ/デコーダ ネットワークを通じて処理され、階層的な特徴が抽出されます。
2 番目に、粗いものから細かいものまでのマッチング モジュールは、これらの機能を活用し、堅牢な機能の対応関係を確立するように設計されています。
具体的には、粗マッチング段階では、新しい I2P 変換モジュールを使用して、画像と点群データから同種および異種の両方のグローバル情報をキャプチャします。
これにより、識別記述子を使用した粗いスーパーポイント/スーパーピクセルマッチングペアの推定が可能になります。
ファインマッチングモジュールでは、スーパーポイント/スーパーピクセル対応のガイダンスに従ってポイント/ピクセルのペアが確立されます。
最後に、一致するペアに基づいて、EPnP-RANSAC アルゴリズムを使用して変換行列が推定されます。
KITTI データセットに対して行われた広範な実験により、CoFiI2P が相対回転誤差 (RRE) が 1.14 度、相対平行移動誤差 (RTE) が 0.29 メートルという素晴らしい結果が得られることが実証されました。
これらの結果は、現在の最先端 (SOTA) 手法と比較して、RRE で 84%、RTE で 89% の大幅な改善を示しています。
定性的結果は https://youtu.be/ovbedasXuZE でご覧いただけます。
ソースコードは https://github.com/kang-1-2-3/CoFiI2P で公開されます。

要約(オリジナル)

Image-to-point cloud (I2P) registration is a fundamental task in the field of autonomous vehicles and transportation systems for cross-modality data fusion and localization. Existing I2P registration methods estimate correspondences at the point/pixel level, often overlooking global alignment. However, I2P matching can easily converge to a local optimum when performed without high-level guidance from global constraints. To address this issue, this paper introduces CoFiI2P, a novel I2P registration network that extracts correspondences in a coarse-to-fine manner to achieve the globally optimal solution. First, the image and point cloud data are processed through a Siamese encoder-decoder network for hierarchical feature extraction. Second, a coarse-to-fine matching module is designed to leverage these features and establish robust feature correspondences. Specifically, In the coarse matching phase, a novel I2P transformer module is employed to capture both homogeneous and heterogeneous global information from the image and point cloud data. This enables the estimation of coarse super-point/super-pixel matching pairs with discriminative descriptors. In the fine matching module, point/pixel pairs are established with the guidance of super-point/super-pixel correspondences. Finally, based on matching pairs, the transform matrix is estimated with the EPnP-RANSAC algorithm. Extensive experiments conducted on the KITTI dataset demonstrate that CoFiI2P achieves impressive results, with a relative rotation error (RRE) of 1.14 degrees and a relative translation error (RTE) of 0.29 meters. These results represent a significant improvement of 84\% in RRE and 89\% in RTE compared to the current state-of-the-art (SOTA) method. Qualitative results are available at https://youtu.be/ovbedasXuZE. The source code will be publicly released at https://github.com/kang-1-2-3/CoFiI2P.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google