FogAdapt: Self-Supervised Domain Adaptation for Semantic Segmentation of Foggy Images

要約

本論文では、濃霧シーンに対するセマンティックセグメンテーションのドメイン適応のための新しいアプローチであるFogAdaptを紹介する。セマンティックセグメンテーションにおけるドメインシフトを低減するために重要な研究が向けられているが、悪天候のシーンへの適応は未解決の問題である。霧、スモッグ、ヘイズなどの気象条件によるシーンの可視性の大きな変動は、ドメインシフトを悪化させるため、このようなシナリオにおける教師なし適応を困難にしている。我々は、霧のシーンのセグメンテーションにおけるドメインシフトを最小化するために、自己エントロピーとマルチスケール情報を増強した自己教師ありドメイン適応法（FogAdapt）を提案する。霧の密度が高くなると、セグメンテーション確率の自己エントロピーが高くなるという経験的証拠に支えられ、適応法を導くために自己エントロピーに基づく損失関数を導入する。さらに、異なる画像スケールで得られた推論を組み合わせ、不確実性によって重み付けし、対象領域に対してスケール不変な擬似ラベルを生成する。これらのスケール不変な擬似ラベルは、可視性とスケールの変動に対してロバストである。提案モデルを、実際の晴天シーンから実際の霧のシーンへの適応と、非霧の合成画像から実際の霧のシーンへの適応のシナリオで評価した。我々の実験は、FogAdaptが霧画像のセマンティックセグメンテーションにおいて、現在の最先端技術を大幅に上回ることを実証している。具体的には、最先端の手法（SOTA）と比較して標準的な設定を考慮することで、FogAdaptはCityscapesからFoggy Zurichに適応する際にmIoUでFoggy Zurichで3.8%、Foggy Driving-dense で6.0%、Foggy Drivingで3.6%の利益を得ています。

要約(オリジナル)

This paper presents FogAdapt, a novel approach for domain adaptation of semantic segmentation for dense foggy scenes. Although significant research has been directed to reduce the domain shift in semantic segmentation, adaptation to scenes with adverse weather conditions remains an open question. Large variations in the visibility of the scene due to weather conditions, such as fog, smog, and haze, exacerbate the domain shift, thus making unsupervised adaptation in such scenarios challenging. We propose a self-entropy and multi-scale information augmented self-supervised domain adaptation method (FogAdapt) to minimize the domain shift in foggy scenes segmentation. Supported by the empirical evidence that an increase in fog density results in high self-entropy for segmentation probabilities, we introduce a self-entropy based loss function to guide the adaptation method. Furthermore, inferences obtained at different image scales are combined and weighted by the uncertainty to generate scale-invariant pseudo-labels for the target domain. These scale-invariant pseudo-labels are robust to visibility and scale variations. We evaluate the proposed model on real clear-weather scenes to real foggy scenes adaptation and synthetic non-foggy images to real foggy scenes adaptation scenarios. Our experiments demonstrate that FogAdapt significantly outperforms the current state-of-the-art in semantic segmentation of foggy images. Specifically, by considering the standard settings compared to state-of-the-art (SOTA) methods, FogAdapt gains 3.8% on Foggy Zurich, 6.0% on Foggy Driving-dense, and 3.6% on Foggy Driving in mIoU when adapted from Cityscapes to Foggy Zurich.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL