CalibRefine: Deep Learning-Based Online Automatic Targetless LiDAR-Camera Calibration with Iterative and Attention-Driven Post-Refinement

要約

正確なマルチセンサーキャリブレーションは、自律運転、ロボット工学、インテリジェントな輸送などのアプリケーションに堅牢な知覚システムを展開するために不可欠です。
既存のLidar-Cameraキャリブレーション方法は、多くの場合、手動で配置されたターゲット、予備的なパラメーターの推定値、または集中的なデータの前処理に依存しており、実際の設定でのスケーラビリティと適応性を制限します。
この作業では、生のライダーポイントクラウドとカメラ画像を直接処理する完全に自動、ターゲットレス、オンラインキャリブレーションフレームワーク、Calibrefineを提案します。
私たちのアプローチは4つの段階に分かれています。（1）相対的な位置、外観の埋め込み、セマンティッククラスを使用して自動的に検出されたオブジェクトをトレーニングする一般的な特徴識別器 – 信頼できるLidar-Cameraの対応を生成するために、（2）粗いホモグラフィベースのキャリブレーションを生成します。
視力変圧器と分散メカニズムを活用することによる歪み。
2つの都市交通データセットでの広範な実験を通じて、Calibrefineが最小限の人間の関与を伴う高精度のキャリブレーション結果を提供し、最先端の目標のない方法を上回り、競争力を維持するか、または競争力のあるベースラインを上回ることを示します。
私たちの調査結果は、反復的および自己監視された注意ベースの調整とともに、堅牢なオブジェクトレベルのフィーチャーマッチングとともに、グラウンドトゥルースキャリブレーションマトリックスを必要とせずに、複雑で実世界の条件で一貫したセンサー融合を可能にすることを強調しています。

要約(オリジナル)

Accurate multi-sensor calibration is essential for deploying robust perception systems in applications such as autonomous driving, robotics, and intelligent transportation. Existing LiDAR-camera calibration methods often rely on manually placed targets, preliminary parameter estimates, or intensive data preprocessing, limiting their scalability and adaptability in real-world settings. In this work, we propose a fully automatic, targetless, and online calibration framework, CalibRefine, which directly processes raw LiDAR point clouds and camera images. Our approach is divided into four stages: (1) a Common Feature Discriminator that trains on automatically detected objects–using relative positions, appearance embeddings, and semantic classes–to generate reliable LiDAR-camera correspondences, (2) a coarse homography-based calibration, (3) an iterative refinement to incrementally improve alignment as additional data frames become available, and (4) an attention-based refinement that addresses non-planar distortions by leveraging a Vision Transformer and cross-attention mechanisms. Through extensive experiments on two urban traffic datasets, we show that CalibRefine delivers high-precision calibration results with minimal human involvement, outperforming state-of-the-art targetless methods and remaining competitive with, or surpassing, manually tuned baselines. Our findings highlight how robust object-level feature matching, together with iterative and self-supervised attention-based adjustments, enables consistent sensor fusion in complex, real-world conditions without requiring ground-truth calibration matrices or elaborate data preprocessing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google