Rethinking Domain Generalization: Discriminability and Generalizability

要約

ドメイン一般化 (DG) は、優れた識別可能性を維持しながら、強力な一般化可能性を備えた堅牢なモデルの開発に努めます。
それにもかかわらず、重要な DG 技術は、ドメイン不変表現を学習することによって特徴の一般化性を向上させる傾向があり、特徴の識別可能性をうっかり見落としています。
一方で、特徴の一般化可能性と識別可能性を同時に達成することは、しばしば固有の矛盾を伴う複雑な課題を提示します。
この課題は、ドメイン不変の特徴に、不安定な要素、つまり偽の相関が含まれているために識別能の低下が明らかな場合に特に顕著になります。
一方、一般的なドメイン不変手法はカテゴリレベルのアラインメントとして分類でき、実質的な一般化性とクラス内バリエーションの狭小化を備えた不可欠な機能を放棄する傾向があります。
これらの障害を克服するために、私たちは、特徴に恐るべき識別性と堅牢な一般化性を同時に与える新しい観点から DG を再考し、新しいフレームワーク、すなわち Discriminative Microscope Distribution Alignment (DMDA) を提示します。
DMDA には、Selective Channel Pruning~(SCP) と Micro-level Distribution Alignment (MDA) という 2 つのコア コンポーネントが組み込まれています。
具体的には、SCP はニューラル ネットワーク内の冗長性を削減し、正確な分類に役立つ安定した属性を優先しようとします。
このアプローチにより、偽のドメイン不変性の悪影響が軽減され、特徴の識別可能性が増幅されます。
さらに、MDA は、単なるカテゴリー レベルの調整を超えて、各クラス内のミクロレベルの調整を強調します。
この戦略は、十分な一般化可能な機能に対応し、クラス内のバリエーションを容易にします。
4 つのベンチマーク データセットに対する広範な実験により、私たちの手法の有効性が裏付けられています。

要約(オリジナル)

Domain generalization (DG) endeavors to develop robust models that possess strong generalizability while preserving excellent discriminability. Nonetheless, pivotal DG techniques tend to improve the feature generalizability by learning domain-invariant representations, inadvertently overlooking the feature discriminability. On the one hand, the simultaneous attainment of generalizability and discriminability of features presents a complex challenge, often entailing inherent contradictions. This challenge becomes particularly pronounced when domain-invariant features manifest reduced discriminability owing to the inclusion of unstable factors, \emph{i.e.,} spurious correlations. On the other hand, prevailing domain-invariant methods can be categorized as category-level alignment, susceptible to discarding indispensable features possessing substantial generalizability and narrowing intra-class variations. To surmount these obstacles, we rethink DG from a new perspective that concurrently imbues features with formidable discriminability and robust generalizability, and present a novel framework, namely, Discriminative Microscopic Distribution Alignment (DMDA). DMDA incorporates two core components: Selective Channel Pruning~(SCP) and Micro-level Distribution Alignment (MDA). Concretely, SCP attempts to curtail redundancy within neural networks, prioritizing stable attributes conducive to accurate classification. This approach alleviates the adverse effect of spurious domain invariance and amplifies the feature discriminability. Besides, MDA accentuates micro-level alignment within each class, going beyond mere category-level alignment. This strategy accommodates sufficient generalizable features and facilitates within-class variations. Extensive experiments on four benchmark datasets corroborate the efficacy of our method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google