Robust Roadside Perception: an Automated Data Synthesis Pipeline Minimizing Human Annotation

要約

最近、車両からインフラへの通信技術の進歩により、協調運転のためのインフラベースの路側認識システムの重要性が高まっています。
このペーパーでは、最も重要な課題の 1 つであるデータ不足について詳しく説明します。
多様性が高く、高品質でラベル付けされた路側センサー データが不足しているため、現在の路側認識システムの堅牢性が低く、転送能力が低くなります。
この論文では、拡張現実を使用して合成トレーニング データを作成する、この問題に対処する新しいソリューションを提案します。
次に、敵対的生成ネットワークを適用して現実性をさらに強化し、さまざまな天候や照明条件に対して堅牢な路側知覚検出器のトレーニングまたは微調整が可能なフォトリアリスティックな合成データセットを生成します。
私たちのアプローチは、米国ミシガン州の 2 つの主要交差点、Mcity 交差点と State St./Ellsworth Rd ロータリーで厳密にテストされました。
Mcity 交差点は、管理されたテスト環境である Mcity テスト フィールド内にあります。
対照的に、ステート ストリート/エルズワース ロード交差点は、交通量が多く、毎年かなりの数の事故が発生することで悪名高い、にぎやかなロータリーです。
実験結果は、合成データのみでトレーニングされた検出器が、あらゆる条件にわたって賞賛に値するパフォーマンスを示すことを示しています。
さらに、ラベル付きデータと統合すると、合成データは、特に悪条件下で既存の検出器のパフォーマンスを著しく強化できます。

要約(オリジナル)

Recently, advancements in vehicle-to-infrastructure communication technologies have elevated the significance of infrastructure-based roadside perception systems for cooperative driving. This paper delves into one of its most pivotal challenges: data insufficiency. The lacking of high-quality labeled roadside sensor data with high diversity leads to low robustness, and low transfer-ability of current roadside perception systems. In this paper, a novel solution is proposed to address this problem that creates synthesized training data using Augmented Reality. A Generative Adversarial Network is then applied to enhance the reality further, that produces a photo-realistic synthesized dataset that is capable of training or fine-tuning a roadside perception detector which is robust to different weather and lighting conditions. Our approach was rigorously tested at two key intersections in Michigan, USA: the Mcity intersection and the State St./Ellsworth Rd roundabout. The Mcity intersection is located within the Mcity test field, a controlled testing environment. In contrast, the State St./Ellsworth Rd intersection is a bustling roundabout notorious for its high traffic flow and a significant number of accidents annually. Experimental results demonstrate that detectors trained solely on synthesized data exhibit commendable performance across all conditions. Furthermore, when integrated with labeled data, the synthesized data can notably bolster the performance of pre-existing detectors, especially in adverse conditions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google