BEVCALIB: LiDAR-Camera Calibration via Geometry-Guided Bird’s-Eye View Representations

要約

正確なLiDAR-カメラキャリブレーションは、自律走行やロボットシステムにおいてマルチモーダル知覚を融合するための基本である。従来のキャリブレーション手法では、制御された環境下での大規模なデータ収集が必要であり、車両/ロボットの移動中の変換変化を補正することができません。本論文では、鳥瞰図（BEV）特徴を用いて、生データからLiDARカメラキャリブレーションを行う初のモデル（BEVCALIBと呼ぶ）を提案する。これを実現するために、カメラのBEV特徴とLiDARのBEV特徴を別々に抽出し、それらを共有BEV特徴空間に融合します。BEV特徴からの幾何学的情報を十分に活用するために、変換デコーダにおいて最も重要な特徴をフィルタリングする新しい特徴セレクタを導入し、メモリ消費を削減し、効率的な学習を可能にする。KITTI、NuScenes、および我々のデータセットを用いた広範な評価により、BEVCALIBが新たな技術水準を確立したことが実証された。様々なノイズ条件下で、BEVCALIBはKITTIデータセットでは平均(47.08%, 82.32%)、NuScenesデータセットでは平均(78.17%, 68.29%)、それぞれ(平行移動, 回転)の点で文献中の最良のベースラインを上回る。オープンソースの領域では、再現可能な最良のベースラインを1桁改善します。我々のコードとデモ結果はhttps://cisl.ucr.edu/BEVCalib。

要約(オリジナル)

Accurate LiDAR-camera calibration is fundamental to fusing multi-modal perception in autonomous driving and robotic systems. Traditional calibration methods require extensive data collection in controlled environments and cannot compensate for the transformation changes during the vehicle/robot movement. In this paper, we propose the first model that uses bird’s-eye view (BEV) features to perform LiDAR camera calibration from raw data, termed BEVCALIB. To achieve this, we extract camera BEV features and LiDAR BEV features separately and fuse them into a shared BEV feature space. To fully utilize the geometric information from the BEV feature, we introduce a novel feature selector to filter the most important features in the transformation decoder, which reduces memory consumption and enables efficient training. Extensive evaluations on KITTI, NuScenes, and our own dataset demonstrate that BEVCALIB establishes a new state of the art. Under various noise conditions, BEVCALIB outperforms the best baseline in the literature by an average of (47.08%, 82.32%) on KITTI dataset, and (78.17%, 68.29%) on NuScenes dataset, in terms of (translation, rotation), respectively. In the open-source domain, it improves the best reproducible baseline by one order of magnitude. Our code and demo results are available at https://cisl.ucr.edu/BEVCalib.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL