UniCal: Unified Neural Sensor Calibration

要約

自動運転車 (SDV) では、自動運転のためにセンサー データを正確に融合するために、LiDAR とカメラの正確なキャリブレーションが必要です。
従来のキャリブレーション方法は通常、制御され構造化されたシーンでキャプチャされた基準を利用し、対応関係を計算して最適化します。
これらのアプローチはコストが高く、大規模なインフラストラクチャと運用を必要とするため、車両フリートに合わせて拡張することが困難になります。
この研究では、複数の LiDAR とカメラを搭載した SDV を簡単に調整するための統合フレームワークである UniCal を提案します。
私たちのアプローチは、幾何学的かつ測光的に一貫したセンサー観察をマルチビューでレンダリングできる微分可能なシーン表現に基づいて構築されています。
私たちは、特定のキャリブレーション基準を必要とせずに屋外センサー データを利用して、微分可能なボリューム レンダリングを通じてセンサーのキャリブレーションと基礎となるシーン表現を共同で学習します。
この「駆動して校正する」アプローチにより、既存の校正システムと比較してコストと運用オーバーヘッドが大幅に削減され、大規模な SDV フリートの効率的な校正が可能になります。
さまざまなセンサーからの観察間で幾何学的一貫性を確保するために、フィーチャベースの位置合わせとニューラル レンダリングを組み合わせた新しい表面位置合わせ損失を導入します。
複数のデータセットに対する包括的な評価により、UniCal が既存のキャリブレーション アプローチの精度を上回り、または同等であると同時により効率的であることが実証され、スケーラブルなキャリブレーションにおける UniCal の価値が実証されています。

要約(オリジナル)

Self-driving vehicles (SDVs) require accurate calibration of LiDARs and cameras to fuse sensor data accurately for autonomy. Traditional calibration methods typically leverage fiducials captured in a controlled and structured scene and compute correspondences to optimize over. These approaches are costly and require substantial infrastructure and operations, making it challenging to scale for vehicle fleets. In this work, we propose UniCal, a unified framework for effortlessly calibrating SDVs equipped with multiple LiDARs and cameras. Our approach is built upon a differentiable scene representation capable of rendering multi-view geometrically and photometrically consistent sensor observations. We jointly learn the sensor calibration and the underlying scene representation through differentiable volume rendering, utilizing outdoor sensor data without the need for specific calibration fiducials. This ‘drive-and-calibrate’ approach significantly reduces costs and operational overhead compared to existing calibration systems, enabling efficient calibration for large SDV fleets at scale. To ensure geometric consistency across observations from different sensors, we introduce a novel surface alignment loss that combines feature-based registration with neural rendering. Comprehensive evaluations on multiple datasets demonstrate that UniCal outperforms or matches the accuracy of existing calibration approaches while being more efficient, demonstrating the value of UniCal for scalable calibration.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google