ControlUDA: Controllable Diffusion-assisted Unsupervised Domain Adaptation for Cross-Weather Semantic Segmentation

要約

データ生成は、悪天候時のセマンティック セグメンテーションに関連する教師なしドメイン適応 (UDA) の強力な戦略として認識されています。
それにもかかわらず、これらの悪天候シナリオには複数の可能性が含まれており、制御可能な天候での高忠実度のデータ合成は、これまでの UDA の研究では十分に研究されていませんでした。
大規模なテキストから画像への拡散モデル (DM) の最近の進歩により、研究に新しい道が開かれ、意味ラベルに条件付けされたリアルな画像の生成が可能になりました。
この機能は、共有ラベル スペースにより、ソース ドメインからターゲット ドメインへのクロスドメイン データ合成に役立つことが証明されています。
したがって、ソース ドメイン ラベルを、UDA をトレーニングするために生成された疑似ターゲット データと組み合わせることができます。
ただし、UDA の観点から見ると、DM トレーニングにはいくつかの課題が存在します。(i) ターゲット ドメインからのグラウンド トゥルース ラベルが欠落している。
(ii) プロンプトジェネレーターは、悪天候により画像のあいまいな、またはノイズの多い説明を生成する場合があります。
(iii) 既存の芸術は、意味論的なラベルのみに基づいて条件付けされた場合、都市シーンの複雑なシーン構造と幾何学形状をうまく処理するのに苦労することがよくあります。
上記の問題に取り組むために、悪天候下での UDA セグメント化に合わせて調整された拡散支援フレームワークである ControlUDA を提案します。
まず、DM を調整するために事前トレーニングされたセグメンターからのターゲット事前を利用し、欠落しているターゲット ドメイン ラベルを補います。
また、悪天候時の忠実度の高いデータ生成を目的とした、条件を融合したマルチスケールで即時に強化されたネットワークである UDAControlNet も含まれています。
生成されたデータを使用して UDA をトレーニングすると、悪天候に対する一般的な都市景観から ACDC へのベンチマークで、モデルのパフォーマンスが新しいマイルストーン (72.0 mIoU) に到達します。
さらに、ControlUDA は、目に見えないデータに対して優れたモデルの一般化性を実現するのに役立ちます。

要約(オリジナル)

Data generation is recognized as a potent strategy for unsupervised domain adaptation (UDA) pertaining semantic segmentation in adverse weathers. Nevertheless, these adverse weather scenarios encompass multiple possibilities, and high-fidelity data synthesis with controllable weather is under-researched in previous UDA works. The recent strides in large-scale text-to-image diffusion models (DM) have ushered in a novel avenue for research, enabling the generation of realistic images conditioned on semantic labels. This capability proves instrumental for cross-domain data synthesis from source to target domain owing to their shared label space. Thus, source domain labels can be paired with those generated pseudo target data for training UDA. However, from the UDA perspective, there exists several challenges for DM training: (i) ground-truth labels from target domain are missing; (ii) the prompt generator may produce vague or noisy descriptions of images from adverse weathers; (iii) existing arts often struggle to well handle the complex scene structure and geometry of urban scenes when conditioned only on semantic labels. To tackle the above issues, we propose ControlUDA, a diffusion-assisted framework tailored for UDA segmentation under adverse weather conditions. It first leverages target prior from a pre-trained segmentor for tuning the DM, compensating the missing target domain labels; It also contains UDAControlNet, a condition-fused multi-scale and prompt-enhanced network targeted at high-fidelity data generation in adverse weathers. Training UDA with our generated data brings the model performances to a new milestone (72.0 mIoU) on the popular Cityscapes-to-ACDC benchmark for adverse weathers. Furthermore, ControlUDA helps to achieve good model generalizability on unseen data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google