Dataset and Benchmark: Novel Sensors for Autonomous Vehicle Perception

要約

自動運転車 (AV) システムで採用されている従来のカメラは、多くの認識タスクをサポートしていますが、低照度または高ダイナミック レンジのシーン、悪天候、および速い動きによる課題があります。
イベント カメラやサーマル カメラなどの新しいセンサーは、これらのシナリオに対処できる可能性のある機能を提供しますが、十分に活用される必要があります。
このペーパーでは、このトピックに関する将来の研究を促進するために、自律車両認識用の新しいセンサー (NSAVP) データセットを紹介します。
データセットは、ステレオ イベント、サーマル、モノクロ、RGB カメラを含むプラットフォームと、グラウンド トゥルース ポーズを提供する高精度ナビゲーション システムを使用してキャプチャされました。
データは、2 ～ 8 km のルートを繰り返し運転することによって収集され、さまざまな照明条件や反対の視点が含まれます。
私たちは、重要な AV 認識タスクを強化する新しいセンサーの課題と機会を実証するために、場所認識タスクに関するベンチマーク実験を提供します。
私たちの知る限り、NSAVP データセットには、ステレオ イベント カメラとモノクロ カメラとともにステレオ サーマル カメラが含まれる最初のデータセットです。
データセットとサポートするソフトウェア スイートは、https://umautobots.github.io/nsavp から入手できます。

要約(オリジナル)

Conventional cameras employed in autonomous vehicle (AV) systems support many perception tasks, but are challenged by low-light or high dynamic range scenes, adverse weather, and fast motion. Novel sensors, such as event and thermal cameras, offer capabilities with the potential to address these scenarios, but they remain to be fully exploited. This paper introduces the Novel Sensors for Autonomous Vehicle Perception (NSAVP) dataset to facilitate future research on this topic. The dataset was captured with a platform including stereo event, thermal, monochrome, and RGB cameras as well as a high precision navigation system providing ground truth poses. The data was collected by repeatedly driving two ~8 km routes and includes varied lighting conditions and opposing viewpoint perspectives. We provide benchmarking experiments on the task of place recognition to demonstrate challenges and opportunities for novel sensors to enhance critical AV perception tasks. To our knowledge, the NSAVP dataset is the first to include stereo thermal cameras together with stereo event and monochrome cameras. The dataset and supporting software suite is available at: https://umautobots.github.io/nsavp

arxiv情報

提供元, 利用サービス

arxiv.jp, Google