Exploring Semantic Consistency and Style Diversity for Domain Generalized Semantic Segmentation

要約

ドメイン一般化セマンティック セグメンテーション (DGSS) は、ソース ドメイン データのみを利用して、未知のターゲット ドメイン全体にわたるセマンティック セグメンテーションの一般化を強化しようとします。
一般的な研究は主に特徴の正規化とドメインのランダム化に焦点を当てており、これらのアプローチには重大な限界があります。
特徴正規化ベースの手法は、特徴空間分布を制約する過程で意味特徴を混乱させる傾向があり、その結果、分類の誤った判断が発生します。
ドメインのランダム化ベースの手法では、スタイル変換の制御不能によりドメインに無関係なノイズが頻繁に組み込まれ、その結果、セグメンテーションの曖昧さが生じます。
これらの課題に対処するために、意味的一貫性の予測とスタイルの多様性の一般化を意味する SCSD という名前の新しいフレームワークを導入します。
これは 3 つの重要なコンポーネントで構成されます。 まず、セマンティック クエリ ブースターは、マスク デコーダにおけるオブジェクト クエリのセマンティック認識および識別機能を強化し、クロスドメインのセマンティック一貫性予測を可能にするように設計されています。
次に、ドメイン差分テキスト埋め込みを利用して画像特徴のスタイル変換を制御して、ドメイン間のスタイルの多様性を高めるテキスト駆動スタイル変換モジュールを開発します。
最後に、類似したドメイン特徴空間の崩壊を防ぐために、スタイルのコントラスト損失とスタイル集約損失を相乗的に重み付けすることにより、ドメイン間特徴の分離とドメイン内特徴の集約を強化するスタイル シナジー最適化メカニズムを導入します。
広範な実験により、提案された SCSD が既存の最先端の手法を大幅に上回ることが実証されました。
特に、GTAV でトレーニングされた SCSD は、4 つの未知のドメイン データセットで平均 49.11 mIoU を達成し、以前の最先端の方法を +4.08 mIoU 上回りました。
コードは https://github.com/nhw649/SCSD で入手できます。

要約(オリジナル)

Domain Generalized Semantic Segmentation (DGSS) seeks to utilize source domain data exclusively to enhance the generalization of semantic segmentation across unknown target domains. Prevailing studies predominantly concentrate on feature normalization and domain randomization, these approaches exhibit significant limitations. Feature normalization-based methods tend to confuse semantic features in the process of constraining the feature space distribution, resulting in classification misjudgment. Domain randomization-based methods frequently incorporate domain-irrelevant noise due to the uncontrollability of style transformations, resulting in segmentation ambiguity. To address these challenges, we introduce a novel framework, named SCSD for Semantic Consistency prediction and Style Diversity generalization. It comprises three pivotal components: Firstly, a Semantic Query Booster is designed to enhance the semantic awareness and discrimination capabilities of object queries in the mask decoder, enabling cross-domain semantic consistency prediction. Secondly, we develop a Text-Driven Style Transform module that utilizes domain difference text embeddings to controllably guide the style transformation of image features, thereby increasing inter-domain style diversity. Lastly, to prevent the collapse of similar domain feature spaces, we introduce a Style Synergy Optimization mechanism that fortifies the separation of inter-domain features and the aggregation of intra-domain features by synergistically weighting style contrastive loss and style aggregation loss. Extensive experiments demonstrate that the proposed SCSD significantly outperforms existing state-of-theart methods. Notably, SCSD trained on GTAV achieved an average of 49.11 mIoU on the four unseen domain datasets, surpassing the previous state-of-the-art method by +4.08 mIoU. Code is available at https://github.com/nhw649/SCSD.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google