DF-Calib: Targetless LiDAR-Camera Calibration via Depth Flow

要約

これらの2つのセンサーをロボットシステムに統合して、堅牢な知覚を実現するためには、Lidar-Cameraの正確なキャリブレーションが重要です。
自律運転などのアプリケーションでは、オンラインのターゲットレスキャリブレーションにより、余分なターゲットなしで機械的振動からの迅速なセンサーの誤補正を可能にします。
ただし、既存の方法は、LIDARおよびカメラデータから一貫した機能を効果的に抽出し、顕著な地域の優先順位付けに失敗し、クロスモーダルアライメントの堅牢性を損なう制限を示します。
これらの問題に対処するために、モダリティの深さフロー推定問題としてキャリブレーションを再フォーマルするLidar-Cameraキャリブレーション法であるDF-Calibを提案します。
DF-CALIBは、カメラ画像から密な深度マップを推定し、共有機能エンコーダーを使用して一貫した深さまでの深さの特徴を抽出し、2D-3Dクロスモーダルギャップを効果的に橋渡しするスパースライダー投影深度マップを完成させます。
さらに、有効なピクセルに優先順位を付けるための信頼性マップを導入し、知覚的に加重されたスパースフロー損失を提案して、深さの流れの推定を強化します。
複数のデータセットにわたる実験結果は、その精度と一般化を検証し、DF-CALIBは0.635cmの平均翻訳誤差を達成し、キッティデータセットで0.045度の回転誤差を達成します。

要約(オリジナル)

Precise LiDAR-camera calibration is crucial for integrating these two sensors into robotic systems to achieve robust perception. In applications like autonomous driving, online targetless calibration enables a prompt sensor misalignment correction from mechanical vibrations without extra targets. However, existing methods exhibit limitations in effectively extracting consistent features from LiDAR and camera data and fail to prioritize salient regions, compromising cross-modal alignment robustness. To address these issues, we propose DF-Calib, a LiDAR-camera calibration method that reformulates calibration as an intra-modality depth flow estimation problem. DF-Calib estimates a dense depth map from the camera image and completes the sparse LiDAR projected depth map, using a shared feature encoder to extract consistent depth-to-depth features, effectively bridging the 2D-3D cross-modal gap. Additionally, we introduce a reliability map to prioritize valid pixels and propose a perceptually weighted sparse flow loss to enhance depth flow estimation. Experimental results across multiple datasets validate its accuracy and generalization,with DF-Calib achieving a mean translation error of 0.635cm and rotation error of 0.045 degrees on the KITTI dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google