TLDR: Traffic Light Detection using Fourier Domain Adaptation in Hostile WeatheR

要約

交通信号の検出と認識の分野における包括的なデータセットの不足と、厳しい気象条件下での最先端のモデルのパフォーマンスの低下は、重大な課題を引き起こしています。
これらの問題に対処するために、この論文では、広く使用されている 2 つのデータセット、LISA と S2TLD を統合する新しいアプローチを提案します。
マージされたデータセットは、このドメインの一般的な問題であるクラスの不均衡に対処するためにさらに処理されます。
この結合されたデータセットがソース ドメインになります。
合成の雨と霧がデータセットに追加され、ターゲット ドメインが作成されます。
フーリエ ドメイン適応 (FDA) を使用して、2 つのデータセット間のドメイン ギャップが最小限に抑えられた最終データセットを作成し、この最終データセットでトレーニングされたモデルが雨や霧の気象条件に適応できるようにします。
さらに、利用可能なデータをより効果的に活用するための半教師あり学習 (SSL) 手法も検討します。
実験結果は、FDA 拡張画像でトレーニングされたモデルが、mAP50、mAP50-95、精度、再現率などの信頼度に依存するメトリクスおよび独立したメトリクスにわたって、FDA なしでトレーニングされたモデルよりも優れていることを示しています。
最もパフォーマンスの高いモデルである YOLOv8 は、精度が 5.1860% 増加し、再現率が 14.8009% 増加し、mAP50 が 9.5074% 増加し、mAP50-95 が 19.5035% 増加しました。
平均して、精度で 7.6892%、再現率で 19.9069%、mAP50 で 15.8506%、mAP50-95 で 23.8099% の増加がすべてのモデルで観察され、モデルのパフォーマンスに対する悪天候の影響を軽減する FDA の有効性が強調されました。
。
これらの改善により、厳しい環境条件における信頼性の高いパフォーマンスが重要となる現実のアプリケーションへの道が開かれます。

要約(オリジナル)

The scarcity of comprehensive datasets in the traffic light detection and recognition domain and the poor performance of state-of-the-art models under hostile weather conditions present significant challenges. To address these issues, this paper proposes a novel approach by merging two widely used datasets, LISA and S2TLD. The merged dataset is further processed to tackle class imbalance, a common problem in this domain. This merged dataset becomes our source domain. Synthetic rain and fog are added to the dataset to create our target domain. We employ Fourier Domain Adaptation (FDA) to create a final dataset with a minimized domain gap between the two datasets, helping the model trained on this final dataset adapt to rainy and foggy weather conditions. Additionally, we explore Semi-Supervised Learning (SSL) techniques to leverage the available data more effectively. Experimental results demonstrate that models trained on FDA-augmented images outperform those trained without FDA across confidence-dependent and independent metrics, like mAP50, mAP50-95, Precision, and Recall. The best-performing model, YOLOv8, achieved a Precision increase of 5.1860%, Recall increase of 14.8009%, mAP50 increase of 9.5074%, and mAP50-95 increase of 19.5035%. On average, percentage increases of 7.6892% in Precision, 19.9069% in Recall, 15.8506% in mAP50, and 23.8099% in mAP50-95 were observed across all models, highlighting the effectiveness of FDA in mitigating the impact of adverse weather conditions on model performance. These improvements pave the way for real-world applications where reliable performance in challenging environmental conditions is critical.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google