DA-RAW: Domain Adaptive Object Detection for Real-World Adverse Weather Conditions

要約

近年、深層学習ベースの物体検出方法が成功を収めているにもかかわらず、雨や雪などの悪天候下で物体検出器の信頼性を高めることは依然として課題です。
物体検出器の堅牢なパフォーマンスを実現するために、晴天画像でトレーニングされた検出ネットワークを悪天候画像に適応させるために教師なしドメイン適応が利用されています。
これまでの方法は、適応中の天候の破損に明示的に対処していませんが、晴天と悪天候の間のドメインギャップは、スタイルギャップと天候ギャップという明確な特徴を持つ 2 つの要因に分解できます。
この論文では、これら 2 つのギャップに個別に対処することで、悪天候条件のある現実世界の環境により効果的に適応できる、物体検出のための教師なしドメイン適応フレームワークを紹介します。
私たちの方法では、アテンション モジュールを使用して高レベルの特徴のスタイル関連情報に集中することで、スタイルのギャップを解決します。
その後、自己教師あり対比学習を使用して、私たちのフレームワークは天候のギャップを削減し、天候の悪化に対して堅牢なインスタンスの特徴を取得します。
広範な実験により、私たちの方法が悪天候条件下での物体検出において他の方法よりも優れていることが実証されました。

要約(オリジナル)

Despite the success of deep learning-based object detection methods in recent years, it is still challenging to make the object detector reliable in adverse weather conditions such as rain and snow. For the robust performance of object detectors, unsupervised domain adaptation has been utilized to adapt the detection network trained on clear weather images to adverse weather images. While previous methods do not explicitly address weather corruption during adaptation, the domain gap between clear and adverse weather can be decomposed into two factors with distinct characteristics: a style gap and a weather gap. In this paper, we present an unsupervised domain adaptation framework for object detection that can more effectively adapt to real-world environments with adverse weather conditions by addressing these two gaps separately. Our method resolves the style gap by concentrating on style-related information of high-level features using an attention module. Using self-supervised contrastive learning, our framework then reduces the weather gap and acquires instance features that are robust to weather corruption. Extensive experiments demonstrate that our method outperforms other methods for object detection in adverse weather conditions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google