CoFiI2P: Coarse-to-Fine Correspondences for Image-to-Point Cloud Registration

要約

画像から点群への (I2P) 登録は、ロボット ナビゲーションとモバイル マッピングの分野における基本的なタスクです。
既存の I2P レジストレーション作業では、グローバル アライメントを無視して、ポイントからピクセルのレベルで対応を推定します。
ただし、グローバル制約からの高レベルのガイダンスがない I2P マッチングは、局所的な最適値に簡単に収束する可能性があります。
この問題を解決するために、本論文では、大域的な最適解を得るために粗い方法から細かい方法への対応を抽出する新しい I2P 登録ネットワークである CoFiI2P を提案します。
まず、画像と点群が階層的特徴抽出のためにシャム エンコーダ/デコーダ ネットワークに供給されます。
次に、粗いものから細かいものまでのマッチング モジュールが設計され、特徴を活用し、復元力のある特徴の対応関係を確立します。
具体的には、粗マッチングブロックでは、新しい I2P 変換モジュールを使用して、画像と点群から同種および異種のグローバル情報をキャプチャします。
識別記述子を使用すると、スーパーポイントからスーパーピクセルへの粗いマッチングペアが推定されます。
ファインマッチングモジュールでは、スーパーポイント対スーパーピクセル対応監視によりポイント対ピクセルのペアが確立されます。
最後に、一致するペアに基づいて、EPnP-RANSAC アルゴリズムを使用して変換行列が推定されます。
KITTI データセットに対して行われた広範な実験により、CoFiI2P が 2.25 度の相対回転誤差 (RRE) と 0.61 メートルの相対並進誤差 (RTE) を達成することが実証されました。
これらの結果は、現在の最先端 (SOTA) 手法と比較して、RRE で 14%、RTE で 52% の大幅な改善を示しています。
実験のデモビデオは https://youtu.be/TG2GBrJTuW4 でご覧いただけます。
ソースコードは https://github.com/kang-1-2-3/CoFiI2P で公開されます。

要約(オリジナル)

Image-to-point cloud (I2P) registration is a fundamental task in the fields of robot navigation and mobile mapping. Existing I2P registration works estimate correspondences at the point-to-pixel level, neglecting the global alignment. However, I2P matching without high-level guidance from global constraints may converge to the local optimum easily. To solve the problem, this paper proposes CoFiI2P, a novel I2P registration network that extracts correspondences in a coarse-to-fine manner for the global optimal solution. First, the image and point cloud are fed into a Siamese encoder-decoder network for hierarchical feature extraction. Then, a coarse-to-fine matching module is designed to exploit features and establish resilient feature correspondences. Specifically, in the coarse matching block, a novel I2P transformer module is employed to capture the homogeneous and heterogeneous global information from image and point cloud. With the discriminate descriptors, coarse super-point-to-super-pixel matching pairs are estimated. In the fine matching module, point-to-pixel pairs are established with the super-point-to-super-pixel correspondence supervision. Finally, based on matching pairs, the transform matrix is estimated with the EPnP-RANSAC algorithm. Extensive experiments conducted on the KITTI dataset have demonstrated that CoFiI2P achieves a relative rotation error (RRE) of 2.25 degrees and a relative translation error (RTE) of 0.61 meters. These results represent a significant improvement of 14% in RRE and 52% in RTE compared to the current state-of-the-art (SOTA) method. The demo video for the experiments is available at https://youtu.be/TG2GBrJTuW4. The source code will be public at https://github.com/kang-1-2-3/CoFiI2P.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google