ProtoGMM: Multi-prototype Gaussian-Mixture-based Domain Adaptation Model for Semantic Segmentation

要約

ドメイン適応型セマンティック セグメンテーションは、ラベル付きソース ドメインでトレーニングされた教師ありモデルを活用して、ラベルなしターゲット ドメインに対して正確で緻密な予測を生成することを目的としています。
一般的な自己学習アプローチには、ターゲット ドメインの疑似ラベルを使用して $p(class|pixel feature)$ の密な識別分類器を再学習することが含まれます。
多くの方法はノイズの多い擬似ラベルの問題を軽減することに重点を置いていますが、ソース ドメインとターゲット ドメインの両方で基礎となるデータ分布 p(ピクセル フィーチャ|クラス) を見落とすことがよくあります。
この制限に対処するために、我々は、GMM を対比損失に組み込み、誘導対比学習を実行するマルチプロトタイプ ガウス混合ベース (ProtoGMM) モデルを提案します。
対照的な損失は、一般的にメモリバンクを使用して文献で実行されますが、これは過小評価されたクラスによるクラスバイアスにつながる可能性があります。
さらに、メモリ バンクの容量は固定であることが多く、ターゲット/ソース ドメインの多様な表現をキャプチャするモデルの能力が制限される可能性があります。
別のアプローチは、グローバル クラス プロトタイプ (つまり、カテゴリごとの平均化された特徴) を使用することです。
ただし、グローバル プロトタイプは、クラス内の変動を無視し、クラスごとの単峰性分布の仮定に基づいています。
これらの課題に対処するために、私たちは ProtoGMM モデルを提案します。
この新しいアプローチには、ソース サンプルの特徴空間で GMM を利用することによって、基礎となるマルチ プロトタイプ ソース分布を推定することが含まれます。
GMM モデルのコンポーネントは、代表的なプロトタイプとして機能します。
クラス内の意味的類似性の向上、クラス間の類似性の低下、およびソース ドメインとターゲット ドメイン間のドメイン アラインメントを実現するために、ソース配布サンプルとターゲット サンプルの間でマルチ プロトタイプの対照学習を採用します。
実験は、UDA ベンチマークに対する私たちの方法の有効性を示しています。

要約(オリジナル)

Domain adaptive semantic segmentation aims to generate accurate and dense predictions for an unlabeled target domain by leveraging a supervised model trained on a labeled source domain. The prevalent self-training approach involves retraining the dense discriminative classifier of $p(class|pixel feature)$ using the pseudo-labels from the target domain. While many methods focus on mitigating the issue of noisy pseudo-labels, they often overlook the underlying data distribution p(pixel feature|class) in both the source and target domains. To address this limitation, we propose the multi-prototype Gaussian-Mixture-based (ProtoGMM) model, which incorporates the GMM into contrastive losses to perform guided contrastive learning. Contrastive losses are commonly executed in the literature using memory banks, which can lead to class biases due to underrepresented classes. Furthermore, memory banks often have fixed capacities, potentially restricting the model’s ability to capture diverse representations of the target/source domains. An alternative approach is to use global class prototypes (i.e. averaged features per category). However, the global prototypes are based on the unimodal distribution assumption per class, disregarding within-class variation. To address these challenges, we propose the ProtoGMM model. This novel approach involves estimating the underlying multi-prototype source distribution by utilizing the GMM on the feature space of the source samples. The components of the GMM model act as representative prototypes. To achieve increased intra-class semantic similarity, decreased inter-class similarity, and domain alignment between the source and target domains, we employ multi-prototype contrastive learning between source distribution and target samples. The experiments show the effectiveness of our method on UDA benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google