Domain Adaptation based Enhanced Detection for Autonomous Driving in Foggy and Rainy Weather

要約

通常、教師あり学習に依存する自動運転用の物体検出方法では、トレーニング データとテスト データの間で一貫した特徴分布が仮定されますが、そのような仮定は気象条件によっては当てはまらない可能性があります。
ドメイン ギャップにより、晴天の下でトレーニングされた検出モデルは、霧や雨の状況では適切に機能しない可能性があります。
霧や雨の天候における検出のボトルネックを克服することは、実際に配備されている自動運転車にとって大きな課題です。
ドメインのギャップを埋め、霧や雨天における物体検出のパフォーマンスを向上させるために、この論文では、ドメイン適応型物体検出のための新しいフレームワークを紹介します。
画像レベルとオブジェクト レベルの両方での適応は、ドメイン間の画像スタイルとオブジェクトの外観の違いを最小限に抑えることを目的としています。
さらに、困難な例でのモデルのパフォーマンスを向上させるために、ドメイン適応に加えて、困難な例で敵対的マイニングを実行する新しい敵対的勾配反転レイヤーを導入します。
さらに、データ拡張を通じて補助ドメインを生成し、新しいドメインレベルのメトリック正則化を強制することをお勧めします。
公開 V2V ベンチマークに関する実験結果では、特に霧や雨の運転シナリオにおいて物体検出が大幅に強化されていることが示されています。

要約(オリジナル)

Typically, object detection methods for autonomous driving that rely on supervised learning make the assumption of a consistent feature distribution between the training and testing data, however such assumption may fail in different weather conditions. Due to the domain gap, a detection model trained under clear weather may not perform well in foggy and rainy conditions. Overcoming detection bottlenecks in foggy and rainy weather is a real challenge for autonomous vehicles deployed in the wild. To bridge the domain gap and improve the performance of object detectionin foggy and rainy weather, this paper presents a novel framework for domain-adaptive object detection. The adaptations at both the image-level and object-level are intended to minimize the differences in image style and object appearance between domains. Furthermore, in order to improve the model’s performance on challenging examples, we introduce a novel adversarial gradient reversal layer that conducts adversarial mining on difficult instances in addition to domain adaptation. Additionally, we suggest generating an auxiliary domain through data augmentation to enforce a new domain-level metric regularization. Experimental findings on public V2V benchmark exhibit a substantial enhancement in object detection specifically for foggy and rainy driving scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google