CMRNext: Camera to LiDAR Matching in the Wild for Localization and Extrinsic Calibration

要約

LiDAR は、動的環境でのマッピングと位置特定に広く使用されています。
ただし、コストが高いため、広く普及するのは制限されています。
一方、安価なカメラを使用した LiDAR マップでの単眼位置特定は、大規模な導入にとってコスト効率の高い代替手段です。
それにもかかわらず、既存のアプローチのほとんどは、新しいセンサーのセットアップや環境に一般化するのに苦労しており、再トレーニングや微調整が必​​要です。
この論文では、CMRNext を紹介します。これは、センサー固有のパラメーターに依存せず、一般化可能で、LiDAR マップでの単眼位置特定やカメラと LiDAR の外部キャリブレーションに実際に使用できる、カメラと LIDAR のマッチングのための新しいアプローチです。
CMRNext は、ディープ ニューラル ネットワークの最近の進歩を活用して、クロスモーダル データと標準的な幾何学的手法を照合して、ロバストな姿勢推定を実現します。
点とピクセルのマッチング問題をオプティカル フロー推定問題として再定式化し、結果の対応関係に基づいて Perspective-n-Point 問題を解き、カメラと LiDAR 点群の間の相対姿勢を見つけます。
私たちは、3 つの公開データセットと 3 つの社内ロボットを含む 6 つの異なるロボット プラットフォームで CMRNext を広範囲に評価しています。
私たちの実験による評価では、CMRNext が両方のタスクにおいて既存のアプローチを上回り、これまで見たことのない環境やセンサーのセットアップをゼロショットで効果的に一般化できることが実証されました。
コードと事前トレーニングされたモデルは http://cmrnext.cs.uni-freiburg.de で公開されています。

要約(オリジナル)

LiDARs are widely used for mapping and localization in dynamic environments. However, their high cost limits their widespread adoption. On the other hand, monocular localization in LiDAR maps using inexpensive cameras is a cost-effective alternative for large-scale deployment. Nevertheless, most existing approaches struggle to generalize to new sensor setups and environments, requiring retraining or fine-tuning. In this paper, we present CMRNext, a novel approach for camera-LIDAR matching that is independent of sensor-specific parameters, generalizable, and can be used in the wild for monocular localization in LiDAR maps and camera-LiDAR extrinsic calibration. CMRNext exploits recent advances in deep neural networks for matching cross-modal data and standard geometric techniques for robust pose estimation. We reformulate the point-pixel matching problem as an optical flow estimation problem and solve the Perspective-n-Point problem based on the resulting correspondences to find the relative pose between the camera and the LiDAR point cloud. We extensively evaluate CMRNext on six different robotic platforms, including three publicly available datasets and three in-house robots. Our experimental evaluations demonstrate that CMRNext outperforms existing approaches on both tasks and effectively generalizes to previously unseen environments and sensor setups in a zero-shot manner. We make the code and pre-trained models publicly available at http://cmrnext.cs.uni-freiburg.de .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google