Robust sensor fusion against on-vehicle sensor staleness

要約

センサーの融合は、自動運転車のパフォーマンスと堅牢な認識システムにとって重要ですが、さまざまなセンサーからのデータがさまざまな遅延で到着するセンサーの頑固さは、大きな課題をもたらします。
センサーのモダリティ間の時間的不整合は、一貫性のないオブジェクト状態の推定につながり、安全に重要な軌跡予測の品質を著しく分解します。
（1）センサー融合における細かい時間的意識を可能にするポイントあたりのタイムスタンプオフセット機能（カメラと比較してLIDARとレーダーの場合）を介してこの問題に対処するための新しいモデルと存在のアプローチを提示し、（2）展開車両で観察される現実的なセンサーの統合パターンをシミュレートするデータ増強戦略を可能にします。
私たちの方法は、複数のLIDAR、レーダー、カメラのセンサーデータを消費する視点検出モデルに統合されています。
従来のモデルは、1つのセンサーモダリティが古くなったときに重要な回帰を示しますが、私たちのアプローチは、同期された条件と古い条件の両方で一貫して良好なパフォーマンスに達することを実証します。

要約(オリジナル)

Sensor fusion is crucial for a performant and robust Perception system in autonomous vehicles, but sensor staleness, where data from different sensors arrives with varying delays, poses significant challenges. Temporal misalignment between sensor modalities leads to inconsistent object state estimates, severely degrading the quality of trajectory predictions that are critical for safety. We present a novel and model-agnostic approach to address this problem via (1) a per-point timestamp offset feature (for LiDAR and radar both relative to camera) that enables fine-grained temporal awareness in sensor fusion, and (2) a data augmentation strategy that simulates realistic sensor staleness patterns observed in deployed vehicles. Our method is integrated into a perspective-view detection model that consumes sensor data from multiple LiDARs, radars and cameras. We demonstrate that while a conventional model shows significant regressions when one sensor modality is stale, our approach reaches consistently good performance across both synchronized and stale conditions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google