What Really Matters for Learning-based LiDAR-Camera Calibration

要約

キャリブレーションは、LIDARおよびカメラセンサーの正確なデータ融合に不可欠な前提条件です。
従来のキャリブレーション技術では、信頼できる2D-3D対応を取得するために、特定のターゲットまたは適切なシーンが必要です。
ターゲットレスおよびオンラインキャリブレーションの課題に取り組むために、データ駆動型の方法で問題を解決するために深いニューラルネットワークが導入されています。
以前の学習ベースの方法は特定のデータセットで印象的なパフォーマンスを達成していますが、それらは依然として複雑な現実のシナリオで苦労しています。
既存の作業のほとんどは、キャリブレーションの精度の向上に焦点を当てていますが、基礎となるメカニズムを見落としています。
このホワイトペーパーでは、学習ベースのLidar-Cameraキャリブレーションの開発を再訪し、コミュニティが基礎となる原則にもっと注意を払うために、実用的なアプリケーションを前進させることを奨励しています。
主流の学習ベースの方法のパラダイムを体系的に分析し、広く使用されているデータ生成パイプラインで回帰ベースの方法の重要な制限を特定します。
私たちの調査結果は、ほとんどの学習ベースの方法が、交差する通信ではなく単一モダリティ分布に焦点を当てており、検索ネットワークとして誤って動作することを明らかにしています。
また、入力データ形式と前処理操作がネットワークのパフォーマンスにどのように影響するかを調査し、回帰の手がかりを要約して、さらなる改善を通知します。

要約(オリジナル)

Calibration is an essential prerequisite for the accurate data fusion of LiDAR and camera sensors. Traditional calibration techniques often require specific targets or suitable scenes to obtain reliable 2D-3D correspondences. To tackle the challenge of target-less and online calibration, deep neural networks have been introduced to solve the problem in a data-driven manner. While previous learning-based methods have achieved impressive performance on specific datasets, they still struggle in complex real-world scenarios. Most existing works focus on improving calibration accuracy but overlook the underlying mechanisms. In this paper, we revisit the development of learning-based LiDAR-Camera calibration and encourage the community to pay more attention to the underlying principles to advance practical applications. We systematically analyze the paradigm of mainstream learning-based methods, and identify the critical limitations of regression-based methods with the widely used data generation pipeline. Our findings reveal that most learning-based methods inadvertently operate as retrieval networks, focusing more on single-modality distributions rather than cross-modality correspondences. We also investigate how the input data format and preprocessing operations impact network performance and summarize the regression clues to inform further improvements.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google