InScope: A New Real-world 3D Infrastructure-side Collaborative Perception Dataset for Open Traffic Scenarios

要約

自動運転車の知覚システムは、特に車両中心の観点から検査した場合、オクルージョンの影響を受けやすくなります。
このような遮蔽は、物体検出の見落としにつながる可能性があり、たとえば、トラックやバスなどの大型車両は、自転車や歩行者が隠れる死角を生み出す可能性があり、そのような知覚システムの制限に関連する安全上の懸念が強調されます。
これらの課題を軽減するために、Vehicle-to-Everything (V2X) パラダイムでは、インフラストラクチャ側の知覚システム (IPS) を採用して、より広い知覚範囲で自動運転車を補完することが提案されています。
それにもかかわらず、現実世界の 3D インフラストラクチャ側のデータセットが不足しているため、V2X テクノロジーの進歩が制約されています。
これらのギャップを埋めるために、このホワイトペーパーでは、新しい 3D インフラストラクチャ側の共同認識データセット (Inscope と略称) を紹介します。
特に、InScope は、複数位置の光検出測距 (LiDAR) システムをインフラストラクチャ側に戦略的に導入することで、オクルージョンの課題に対処することに特化した最初のデータセットです。
具体的には、InScope は、専門家によって注釈が付けられた 303 の追跡軌跡と 187,787 の 3D バウンディング ボックスを含む 20 日間のキャプチャ期間をカプセル化します。
ベンチマークの分析を通じて、協調的な 3D オブジェクト検出、マルチソース データ フュージョン、データ ドメイン転送、および 3D マルチオブジェクト追跡タスクを含む、オープン トラフィック シナリオに対する 4 つの異なるベンチマークが提示されます。
さらに、オクルージョンの影響を定量化する新しい指標が設計されており、さまざまなアルゴリズム間の検出劣化率の評価が容易になります。
実験結果は、InScope を活用して、現実世界のシナリオにおける 3D マルチオブジェクトの検出と追跡、特に隠れた、小さい、遠くにあるオブジェクトの追跡を支援することでパフォーマンスが向上したことを示しています。
データセットとベンチマークは https://github.com/xf-zh/InScope で入手できます。

要約(オリジナル)

Perception systems of autonomous vehicles are susceptible to occlusion, especially when examined from a vehicle-centric perspective. Such occlusion can lead to overlooked object detections, e.g., larger vehicles such as trucks or buses may create blind spots where cyclists or pedestrians could be obscured, accentuating the safety concerns associated with such perception system limitations. To mitigate these challenges, the vehicle-to-everything (V2X) paradigm suggests employing an infrastructure-side perception system (IPS) to complement autonomous vehicles with a broader perceptual scope. Nevertheless, the scarcity of real-world 3D infrastructure-side datasets constrains the advancement of V2X technologies. To bridge these gaps, this paper introduces a new 3D infrastructure-side collaborative perception dataset, abbreviated as inscope. Notably, InScope is the first dataset dedicated to addressing occlusion challenges by strategically deploying multiple-position Light Detection and Ranging (LiDAR) systems on the infrastructure side. Specifically, InScope encapsulates a 20-day capture duration with 303 tracking trajectories and 187,787 3D bounding boxes annotated by experts. Through analysis of benchmarks, four different benchmarks are presented for open traffic scenarios, including collaborative 3D object detection, multisource data fusion, data domain transfer, and 3D multiobject tracking tasks. Additionally, a new metric is designed to quantify the impact of occlusion, facilitating the evaluation of detection degradation ratios among various algorithms. The Experimental findings showcase the enhanced performance of leveraging InScope to assist in detecting and tracking 3D multiobjects in real-world scenarios, particularly in tracking obscured, small, and distant objects. The dataset and benchmarks are available at https://github.com/xf-zh/InScope.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google