Evaluating Roadside Perception for Autonomous Vehicles: Insights from Field Testing

要約

路側認識システムは、交通安全を強化し、自動運転車の協調運転を促進する上でますます重要になっています。
技術の急速な進歩にも関わらず、この新たに生じた分野には大きな課題が残っています。それは、これらのシステムの標準化された評価方法とベンチマークが存在しないことです。
この制限により、さまざまなシステムのパフォーマンスを効果的に評価および比較することができなくなり、この重要な分野の進歩が制限されます。
このペーパーでは、路側認識システムのパフォーマンスを評価するために特別に設計された包括的な評価方法論を紹介します。
当社の方法論には、測定技術、指標の選択、および実験的試験設計が含まれており、これらはすべて実世界のフィールドテストに基づいており、当社のアプローチの実際的な適用可能性を保証します。
私たちは、制御されたテスト環境である Mcity\footnote{\url{https://mcity.umich.edu/}} に方法論を適用して、さまざまな既製の知覚システムを評価しました。
このアプローチにより、現実的なシナリオでのパフォーマンスの詳細な比較分析が可能になり、それぞれの強みと限界についての重要な洞察が得られます。
この研究の結果は、業界標準のベンチマークと評価方法の開発に役立つ予定であり、それによって自動運転車向けの路側認識システムの開発と展開の有効性が向上します。
私たちは、この論文が路側認識システムの評価方法の標準化に関する重要な議論を刺激し、この技術の最前線を押し広げることを期待しています。
さらに、私たちの結果は、学術界と産業界の両方に、現代のインフラベースの知覚システムの機能についての包括的な理解を提供します。

要約(オリジナル)

Roadside perception systems are increasingly crucial in enhancing traffic safety and facilitating cooperative driving for autonomous vehicles. Despite rapid technological advancements, a major challenge persists for this newly arising field: the absence of standardized evaluation methods and benchmarks for these systems. This limitation hampers the ability to effectively assess and compare the performance of different systems, thus constraining progress in this vital field. This paper introduces a comprehensive evaluation methodology specifically designed to assess the performance of roadside perception systems. Our methodology encompasses measurement techniques, metric selection, and experimental trial design, all grounded in real-world field testing to ensure the practical applicability of our approach. We applied our methodology in Mcity\footnote{\url{https://mcity.umich.edu/}}, a controlled testing environment, to evaluate various off-the-shelf perception systems. This approach allowed for an in-depth comparative analysis of their performance in realistic scenarios, offering key insights into their respective strengths and limitations. The findings of this study are poised to inform the development of industry-standard benchmarks and evaluation methods, thereby enhancing the effectiveness of roadside perception system development and deployment for autonomous vehicles. We anticipate that this paper will stimulate essential discourse on standardizing evaluation methods for roadside perception systems, thus pushing the frontiers of this technology. Furthermore, our results offer both academia and industry a comprehensive understanding of the capabilities of contemporary infrastructure-based perception systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google