SOAC: Spatio-Temporal Overlap-Aware Multi-Sensor Calibration using Neural Radiance Fields

要約

自動運転などの急速に進化する分野では、高い動作精度と安定性を確保するために、異なるモダリティを持つ複数のセンサーを使用することが重要です。
単一の共通フレーム内の各センサーによって提供された情報を正しく活用するには、これらのセンサーが正確に校正されていることが不可欠です。
この論文では、Neural Radiance Fields (NeRF) の機能を利用して、さまざまなセンサー モダリティを共通の体積表現で表現し、堅牢で正確な時空間センサーのキャリブレーションを実現します。
各センサーのシーンの目に見える部分に基づいて分割アプローチを設計することにより、重複する領域のみを使用してキャリブレーション問題を定式化します。
この戦略により、失敗が少なく、より堅牢で正確なキャリブレーションが実現します。
私たちのアプローチが複数の確立された運転データセットで検証することにより、屋外の都市シーンで機能することを実証します。
結果は、私たちの方法が既存の方法と比較してより優れた精度と堅牢性を得ることができることを示しています。

要約(オリジナル)

In rapidly-evolving domains such as autonomous driving, the use of multiple sensors with different modalities is crucial to ensure high operational precision and stability. To correctly exploit the provided information by each sensor in a single common frame, it is essential for these sensors to be accurately calibrated. In this paper, we leverage the ability of Neural Radiance Fields (NeRF) to represent different sensors modalities in a common volumetric representation to achieve robust and accurate spatio-temporal sensor calibration. By designing a partitioning approach based on the visible part of the scene for each sensor, we formulate the calibration problem using only the overlapping areas. This strategy results in a more robust and accurate calibration that is less prone to failure. We demonstrate that our approach works on outdoor urban scenes by validating it on multiple established driving datasets. Results show that our method is able to get better accuracy and robustness compared to existing methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google