End-to-end 2D-3D Registration between Image and LiDAR Point Cloud for Vehicle Localization

要約

以前に構築されたマップを使用したロボットの位置特定は、高精度のナビゲーションやモバイル操作などのさまざまなタスクに不可欠です。
ロボットの位置特定に対する一般的なアプローチは、画像から点群への登録に基づいており、照明不変の LiDAR ベースのマッピングと経済的な画像ベースの位置特定を組み合わせています。
ただし、画像から点群への登録のための最近の研究では、登録を別個のモジュールに分割するか、点群を深度画像に投影して RGB 画像と深度画像を登録します。
この論文では、新しいエンドツーエンドの 2D-3D 登録ネットワークである I2PNet について紹介します。
I2PNet は、固有のターゲットを持つ差分モジュールを使用して、生の 3D 点群を 2D RGB 画像に直接登録します。
差分 2D-3D 関連のための 2D-3D コスト ボリューム モジュールは、特徴抽出と姿勢回帰を橋渡しするために提案されています。
2D-3D コスト ボリューム モジュールは、ピンホール カメラ モデルの本質的に独立した正規化平面上にソフト ポイントとピクセルの対応を暗黙的に構築します。
さらに、ポーズ回帰の前に 2D-3D 関連の外れ値をフィルタリングする外れ値マスク予測モジュールを導入します。
さらに、位置特定精度を向上させるために、粗いから細かい 2D-3D 位置合わせアーキテクチャを提案します。
私たちは、KITTI オドメトリおよび nuScenes データセットに対して広範な位置特定実験を実施しています。
結果は、I2PNet が最先端のパフォーマンスを大幅に上回っていることを示しています。
さらに、I2PNet は以前の作品よりも効率が高く、リアルタイムで位置特定を実行できます。
さらに、I2PNet のアプリケーションをカメラと LiDAR のオンライン キャリブレーションに拡張し、オンライン キャリブレーション タスクにおいて I2PNet が最近のアプローチよりも優れていることを実証します。

要約(オリジナル)

Robot localization using a previously built map is essential for a variety of tasks including highly accurate navigation and mobile manipulation. A popular approach to robot localization is based on image-to-point cloud registration, which combines illumination-invariant LiDAR-based mapping with economical image-based localization. However, the recent works for image-to-point cloud registration either divide the registration into separate modules or project the point cloud to the depth image to register the RGB and depth images. In this paper, we present I2PNet, a novel end-to-end 2D-3D registration network. I2PNet directly registers the raw 3D point cloud with the 2D RGB image using differential modules with a unique target. The 2D-3D cost volume module for differential 2D-3D association is proposed to bridge feature extraction and pose regression. 2D-3D cost volume module implicitly constructs the soft point-to-pixel correspondence on the intrinsic-independent normalized plane of the pinhole camera model. Moreover, we introduce an outlier mask prediction module to filter the outliers in the 2D-3D association before pose regression. Furthermore, we propose the coarse-to-fine 2D-3D registration architecture to increase localization accuracy. We conduct extensive localization experiments on the KITTI Odometry and nuScenes datasets. The results demonstrate that I2PNet outperforms the state-of-the-art by a large margin. In addition, I2PNet has a higher efficiency than the previous works and can perform the localization in real-time. Moreover, we extend the application of I2PNet to the camera-LiDAR online calibration and demonstrate that I2PNet outperforms recent approaches on the online calibration task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google