DiGA: Distil to Generalize and then Adapt for Domain Adaptive Semantic Segmentation

要約

タイトル：DiGA：Distil to Generalize and then Adapt for Domain Adaptive Semantic Segmentation

要約：

– ドメイン適応セマンティックセグメンテーションの手法は、ウォームアップとセルフトレーニングのステージで構成されるステージワイズトレーニングを一般的に利用する。
– ウォームアップでは、広く採用されている敵対的トレーニングは、盲目的な特徴の整列のために性能向上が限定されることが多い。
– セルフトレーニングでは、適切なカテゴリーの閾値を見つけることが非常に困難である。
– これらの問題を軽減するために、まず、新しい対称的な知識蒸留モジュールで敵対的トレーニングをウォームアップステージで置き換え、モデルをドメイン汎用にすることを提案する。
– 驚くべきことに、このドメイン汎用ウォームアップモデルは、大幅な性能向上をもたらし、さらに提案されたクロスドメイン混合データ拡張技術によってさらに拡大できる。
– 次に、セルフトレーニングステージでは、閾値問題を緩和するための閾値フリーのダイナミック疑似ラベル選択メカニズムを提案し、モデルをよりターゲットドメインに適応させる。
– 広範な実験により、当社のフレームワークが人気のあるベンチマークに対して前の技術と比較して注目すべき一貫した改善を達成することが示された。 コードとモデルはhttps://github.com/fy-vision/DiGAで利用可能である。

要約(オリジナル)

Domain adaptive semantic segmentation methods commonly utilize stage-wise training, consisting of a warm-up and a self-training stage. However, this popular approach still faces several challenges in each stage: for warm-up, the widely adopted adversarial training often results in limited performance gain, due to blind feature alignment; for self-training, finding proper categorical thresholds is very tricky. To alleviate these issues, we first propose to replace the adversarial training in the warm-up stage by a novel symmetric knowledge distillation module that only accesses the source domain data and makes the model domain generalizable. Surprisingly, this domain generalizable warm-up model brings substantial performance improvement, which can be further amplified via our proposed cross-domain mixture data augmentation technique. Then, for the self-training stage, we propose a threshold-free dynamic pseudo-label selection mechanism to ease the aforementioned threshold problem and make the model better adapted to the target domain. Extensive experiments demonstrate that our framework achieves remarkable and consistent improvements compared to the prior arts on popular benchmarks. Codes and models are available at https://github.com/fy-vision/DiGA

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI