LCE-Calib: Automatic LiDAR-Frame/Event Camera Extrinsic Calibration With A Globally Optimal Solution

要約

LiDAR とカメラの組み合わせにより、モバイル ロボットはマルチモーダル データを使用して環境を認識できるようになり、堅牢な認識を実現するための重要な要素になります。
従来のフレーム カメラは照明条件の変化に敏感であり、LiDAR カメラ フュージョンをより完全かつ堅牢にするために、新しいイベント カメラを導入する動機となっています。
ただし、これらのセンサーを共同で活用するには、挑戦的な外部キャリブレーションの問題に対処する必要があります。
このホワイト ペーパーでは、LiDAR とフレーム/イベント カメラの間の外部要因を調整する自動チェッカーボード ベースのアプローチを提案します。ここでは、4 つの貢献が示されています。
まず、LiDAR の点群からの自動特徴抽出とチェッカーボード追跡方法を提示します。
次に、従来のコーナー検出器をイベント カメラに適用して、イベント ストリームからリアルなフレーム画像を再構築します。
第 3 に、ポイントからプレーンへの制約およびポイントからラインへの制約を粗から細かい方法で使用して、外部関数を推定するための初期化と改良の手順を提案します。
第 4 に、キャリブレーションにおける 2 つの最適化問題に対処するために、統一されたグローバルに最適なソリューションを紹介します。
私たちのアプローチは、19 のシミュレートされた実世界のデータセットに関する広範な実験で検証されており、最先端の技術よりも優れています。

要約(オリジナル)

The combination of LiDARs and cameras enables a mobile robot to perceive environments with multi-modal data, becoming a key factor in achieving robust perception. Traditional frame cameras are sensitive to changing illumination conditions, motivating us to introduce novel event cameras to make LiDAR-camera fusion more complete and robust. However, to jointly exploit these sensors, the challenging extrinsic calibration problem should be addressed. This paper proposes an automatic checkerboard-based approach to calibrate extrinsics between a LiDAR and a frame/event camera, where four contributions are presented. Firstly, we present an automatic feature extraction and checkerboard tracking method from LiDAR’s point clouds. Secondly, we reconstruct realistic frame images from event streams, applying traditional corner detectors to event cameras. Thirdly, we propose an initialization-refinement procedure to estimate extrinsics using point-to-plane and point-to-line constraints in a coarse-to-fine manner. Fourthly, we introduce a unified and globally optimal solution to address two optimization problems in calibration. Our approach has been validated with extensive experiments on 19 simulated and real-world datasets and outperforms the state-of-the-art.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google