Calibration-based Dual Prototypical Contrastive Learning Approach for Domain Generalization Semantic Segmentation

要約

プロトタイプ対照学習 (PCL) は、最近、クラスごとのドメイン不変特徴を学習するために広く使用されています。
これらの方法は、特定のドメイン内の同じクラスの中心値として表現されるプロトタイプがドメイン不変であるという前提に基づいています。
異なるドメインのプロトタイプにも矛盾があるため、PCL によってソース ドメインから学習されたクラス単位のドメイン不変の特徴は、他のドメインのプロトタイプと同時に調整する必要があります。
ただし、異なるドメインの同じクラスのプロトタイプは異なる場合がありますが、異なるクラスのプロトタイプは類似している場合があり、クラス単位のドメイン不変特徴の学習に影響を与える可能性があります。
これらの観察に基づいて、学習されたクラスごとの特徴と、ドメイン汎化セマンティック セグメンテーション用のさまざまなドメインのプロトタイプとの間のドメインの不一致を減らすために、キャリブレーション ベースのデュアル プロトタイプ対比学習 (CDPCL) アプローチが提案されます。
これには、不確実性ガイド PCL (UPCL) とハード重み付け PCL (HPCL) が含まれています。
異なるクラスのプロトタイプのドメインの不一致は異なる可能性があるため、すべてのクラスのプロトタイプのドメインの不一致を表す不確実性確率行列を提案します。
UPCL は、PCL 中にプロトタイプの重みを校正するために不確実性確率行列を推定します。
さらに、状況によっては、異なるクラスのプロトタイプが類似している可能性があること、つまりこれらのプロトタイプがハードアライメントされている可能性があることを考慮して、HPCL は、PCL 中にハードアライメントされたプロトタイプの重みを校正するハード重み付け行列を生成することが提案されています。
広範な実験により、ドメイン汎化セマンティック セグメンテーション タスクにおいて、私たちのアプローチが現在のアプローチよりも優れたパフォーマンスを達成することが実証されました。

要約(オリジナル)

Prototypical contrastive learning (PCL) has been widely used to learn class-wise domain-invariant features recently. These methods are based on the assumption that the prototypes, which are represented as the central value of the same class in a certain domain, are domain-invariant. Since the prototypes of different domains have discrepancies as well, the class-wise domain-invariant features learned from the source domain by PCL need to be aligned with the prototypes of other domains simultaneously. However, the prototypes of the same class in different domains may be different while the prototypes of different classes may be similar, which may affect the learning of class-wise domain-invariant features. Based on these observations, a calibration-based dual prototypical contrastive learning (CDPCL) approach is proposed to reduce the domain discrepancy between the learned class-wise features and the prototypes of different domains for domain generalization semantic segmentation. It contains an uncertainty-guided PCL (UPCL) and a hard-weighted PCL (HPCL). Since the domain discrepancies of the prototypes of different classes may be different, we propose an uncertainty probability matrix to represent the domain discrepancies of the prototypes of all the classes. The UPCL estimates the uncertainty probability matrix to calibrate the weights of the prototypes during the PCL. Moreover, considering that the prototypes of different classes may be similar in some circumstances, which means these prototypes are hard-aligned, the HPCL is proposed to generate a hard-weighted matrix to calibrate the weights of the hard-aligned prototypes during the PCL. Extensive experiments demonstrate that our approach achieves superior performance over current approaches on domain generalization semantic segmentation tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google