Aggregation of Disentanglement: Reconsidering Domain Variations in Domain Generalization

要約

ドメイン汎化（DG）は、機械学習モデルの基本的な課題であり、様々なドメインにおけるモデルの汎化を改善することを目的としている。これまでの手法では、様々なソースドメインからドメイン不変の特徴を生成することに焦点が当てられている。しかし、我々は、ドメイン不変性には、これまでほとんど無視されてきた、下流のタスクに有用な情報、すなわち、分類を意識した情報も含まれていると主張する。我々は、ソースドメインからドメイン不変の特徴を学習するのとは異なり、入力画像をドメインエキスパート特徴とノイズに切り離す。提案するドメインエキスパート特徴は、各ドメインの画像が独立して分類できる学習済み潜在空間に存在し、分類を意識したドメインバリエーションを暗黙のうちに利用することが可能である。この分析に基づき、ドメインエキスパート特徴量をソースドメイン画像から切り離し、ターゲットテストドメインを表現するためにソースドメインエキスパート特徴量を集約する、ドメイン切り離しネットワーク（DDN）という新しいパラダイムを提案した。また、よりバランスのとれた分離可能な特徴空間を形成するために、ドメイン専門家の特徴を導く新しい対照学習法を提案する。PACS、VLCS、OfficeHome、DomainNet、TerraIncognitaという広く使われているベンチマークを用いた実験により、最近提案された代替案と比較して、本手法が競争力を持つことを示す。

要約(オリジナル)

Domain Generalization (DG) is a fundamental challenge for machine learning models, which aims to improve model generalization on various domains. Previous methods focus on generating domain invariant features from various source domains. However, we argue that the domain variantions also contain useful information, ie, classification-aware information, for downstream tasks, which has been largely ignored. Different from learning domain invariant features from source domains, we decouple the input images into Domain Expert Features and noise. The proposed domain expert features lie in a learned latent space where the images in each domain can be classified independently, enabling the implicit use of classification-aware domain variations. Based on the analysis, we proposed a novel paradigm called Domain Disentanglement Network (DDN) to disentangle the domain expert features from the source domain images and aggregate the source domain expert features for representing the target test domain. We also propound a new contrastive learning method to guide the domain expert features to form a more balanced and separable feature space. Experiments on the widely-used benchmarks of PACS, VLCS, OfficeHome, DomainNet, and TerraIncognita demonstrate the competitive performance of our method compared to the recently proposed alternatives.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL