End-to-End Lidar-Camera Self-Calibration for Autonomous Vehicles

要約

タイトル：自動運転車のためのエンドツーエンドLiDARカメラ自己キャリブレーション

要約：

– 自動運転車は、安全に運転するためにマルチモーダルなセンサー設置が必要である。
– このようなセンサーの初期キャリブレーションは自動化された工場環境で行われ、高度に成熟した技術である。
– しかしながら、車両の運用中にキャリブレーション品質を維持する方法について興味深い問題が浮かび上がっている。
– また、システムエラーの伝播を防ぐために、複数のセンサーを一緒にキャリブレーションすることが必要である。
– この論文では、LiDARとピンホールカメラのための自動キャリブレーション問題に対処する、CaLiCaというエンドツーエンドディープセルフキャリブレーションネットワークを提案する。
– カメラ内部パラメータ（焦点距離、歪み）とLiDAR-カメラ外部パラメータ（回転、移動）を共同で予測することにより、カメラ画像とLiDARポイントクラウドの特徴相関を回帰する。
– ネットワークはシャーモスツイン構造に配置され、点群とカメラの共有特徴（LiDARカメラ制約）にとって、ネットワーク機能学習を制限する。
– KITTIデータセットを使用した評価では、再投影誤差が0.028ピクセルの単一パス推論で0.154{\deg}、0.059mの精度を達成した。
– また、エンドツーエンド学習アーキテクチャが分離されたキャリブレーションに比べて、ターミナル損失が低くなる（回転損失が21％減少）というさまざまな研究結果を提供する。

要約(オリジナル)

Autonomous vehicles are equipped with a multi-modal sensor setup to enable the car to drive safely. The initial calibration of such perception sensors is a highly matured topic and is routinely done in an automated factory environment. However, an intriguing question arises on how to maintain the calibration quality throughout the vehicle’s operating duration. Another challenge is to calibrate multiple sensors jointly to ensure no propagation of systemic errors. In this paper, we propose CaLiCa, an end-to-end deep self-calibration network which addresses the automatic calibration problem for pinhole camera and Lidar. We jointly predict the camera intrinsic parameters (focal length and distortion) as well as Lidar-Camera extrinsic parameters (rotation and translation), by regressing feature correlation between the camera image and the Lidar point cloud. The network is arranged in a Siamese-twin structure to constrain the network features learning to a mutually shared feature in both point cloud and camera (Lidar-camera constraint). Evaluation using KITTI datasets shows that we achieve 0.154 {\deg} and 0.059 m accuracy with a reprojection error of 0.028 pixel with a single-pass inference. We also provide an ablative study of how our end-to-end learning architecture offers lower terminal loss (21% decrease in rotation loss) compared to isolated calibration

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI