Automatic Target-Less Camera-LiDAR Calibration From Motion and Deep Point Correspondences

要約

ロボット プラットフォームのセンサー セットアップには、補完的な情報を提供するカメラと LiDAR の両方が含まれるのが一般的です。
ただし、これら 2 つのモダリティを融合するには、通常、それらの間の高精度のキャリブレーションが必要です。
この論文では、人間の監視も特定の対象物も必要としないカメラと LiDAR のキャリブレーションのための新しい方法である MDPCalib を提案します。
代わりに、ビジュアルおよび LiDAR オドメトリからのセンサー モーション推定と、ドメイン内での再トレーニングなしで取得される深層学習ベースの 2D ピクセルと 3D ポイントの対応関係を利用します。
カメラと LiDAR のキャリブレーションを最適化問題として表現し、センサーの動きや点の対応による制約によって生じるコストを最小限に抑えます。
広範な実験により、私たちのアプローチが高精度の外部キャリブレーションパラメータを生成し、ランダムな初期化に対して堅牢であることを実証しました。
さらに、私たちのアプローチは幅広いセンサーのセットアップに一般化されており、自動運転認識車、四足歩行ロボット、UAV などのさまざまなロボット プラットフォームでそれを採用することで実証します。
私たちのキャリブレーション方法を一般に公開するために、プロジェクト Web サイト (http://calibration.cs.uni-freiburg.de) でコードを公開します。

要約(オリジナル)

Sensor setups of robotic platforms commonly include both camera and LiDAR as they provide complementary information. However, fusing these two modalities typically requires a highly accurate calibration between them. In this paper, we propose MDPCalib which is a novel method for camera-LiDAR calibration that requires neither human supervision nor any specific target objects. Instead, we utilize sensor motion estimates from visual and LiDAR odometry as well as deep learning-based 2D-pixel-to-3D-point correspondences that are obtained without in-domain retraining. We represent camera-LiDAR calibration as an optimization problem and minimize the costs induced by constraints from sensor motion and point correspondences. In extensive experiments, we demonstrate that our approach yields highly accurate extrinsic calibration parameters and is robust to random initialization. Additionally, our approach generalizes to a wide range of sensor setups, which we demonstrate by employing it on various robotic platforms including a self-driving perception car, a quadruped robot, and a UAV. To make our calibration method publicly accessible, we release the code on our project website at http://calibration.cs.uni-freiburg.de.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google