A Universal Degradation-based Bridging Technique for Domain Adaptive Semantic Segmentation

要約

セマンティック セグメンテーションは、トレーニングされたネットワークが別のドメインに適用されると、パフォーマンスが大幅に低下することがよくあります。
この問題に対処するために、教師なしドメイン適応 (UDA) が広範囲に研究されてきました。
既存の方法では、実質的なドメインギャップを軽減するためにドメインブリッジング技術が導入されており、中間ドメインを構築して、異なるドメイン間での知識の段階的な伝達を促進します。
ただし、これらの戦略はデータセット固有の設計を必要とすることが多く、セマンティックシフトにつながる不自然な中間分布を生成する可能性があります。
この論文では、拡散順プロセスとして形式化されたユニバーサル分解ベースのブリッジング手法である DiDA を提案します。
DiDA は 2 つの主要なモジュールで構成されます。(1) 劣化ベースの中間ドメイン構築。単純な画像劣化操作を通じて連続的な中間ドメインを作成し、ドメインの差が徐々に減少するにつれてドメイン不変の特徴の学習を促進します。
(2) セマンティック シフト補償。拡散エンコーダを活用して、劣化したタイム ステップでセマンティック シフト情報をエンコードおよび補償し、中間領域の識別表現を保存します。
プラグアンドプレイ ソリューションとして、DiDA はさまざまな劣化操作をサポートし、既存の UDA メソッドとシームレスに統合します。
一般的な合成セマンティック セグメンテーション ベンチマークと実際のセマンティック セグメンテーション ベンチマークに関する広範な実験により、DiDA がさまざまな設定にわたって一貫してパフォーマンスを向上させ、既存の方法と組み合わせることで新しい最先端の結果が得られることが実証されました。

要約(オリジナル)

Semantic segmentation often suffers from significant performance degradation when the trained network is applied to a different domain. To address this issue, unsupervised domain adaptation (UDA) has been extensively studied. Existing methods introduce the domain bridging techniques to mitigate substantial domain gap, which construct intermediate domains to facilitate the gradual transfer of knowledge across different domains. However, these strategies often require dataset-specific designs and may generate unnatural intermediate distributions that lead to semantic shift. In this paper, we propose DiDA, a universal degradation-based bridging technique formalized as a diffusion forward process. DiDA consists of two key modules: (1) Degradation-based Intermediate Domain Construction, which creates continuous intermediate domains through simple image degradation operations to encourage learning domain-invariant features as domain differences gradually diminish; (2) Semantic Shift Compensation, which leverages a diffusion encoder to encode and compensate for semantic shift information with degraded time-steps, preserving discriminative representations in the intermediate domains. As a plug-and-play solution, DiDA supports various degradation operations and seamlessly integrates with existing UDA methods. Extensive experiments on prevalent synthetic-to-real semantic segmentation benchmarks demonstrate that DiDA consistently improves performance across different settings and achieves new state-of-the-art results when combined with existing methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google