Domain-invariant Feature Exploration for Domain Generalization

要約

深層学習は、ここ数年で大きな成功を収めました。
ただし、深層学習のパフォーマンスは、IID 以外の状況に直面すると妨げられる可能性があります。
ドメイン一般化 (DG) を使用すると、モデルを目に見えないテスト分布に一般化できます。つまり、ドメイン不変表現を学習できます。
この論文では、ドメイン不変の機能は内部と相互の両方から発生する必要があると主張します。
内部不変とは、特徴が単一のドメインで学習でき、特徴がデータの固有のセマンティクス、つまり、他のドメインにとらわれないドメイン内のプロパティをキャプチャできることを意味します。
相互不変性とは、機能が複数のドメイン (クロスドメイン) で学習でき、機能に共通の情報が含まれていることを意味します。
他のドメイン。
次に、Domain-Invariant Feature EXploration の DIFEX を提案します。
DIFEX は、知識蒸留フレームワークを採用して、高レベルのフーリエ位相を内部不変の特徴として捉え、相互不変の特徴としてクロスドメイン相関アライメントを学習します。
さらに、一般化を改善するために機能の多様性を高めるために、探索損失を設計します。
時系列ベンチマークと視覚的ベンチマークの両方に関する広範な実験により、提案された DIFEX が最先端のパフォーマンスを達成することが実証されています。

要約(オリジナル)

Deep learning has achieved great success in the past few years. However, the performance of deep learning is likely to impede in face of non-IID situations. Domain generalization (DG) enables a model to generalize to an unseen test distribution, i.e., to learn domain-invariant representations. In this paper, we argue that domain-invariant features should be originating from both internal and mutual sides. Internal invariance means that the features can be learned with a single domain and the features capture intrinsic semantics of data, i.e., the property within a domain, which is agnostic to other domains. Mutual invariance means that the features can be learned with multiple domains (cross-domain) and the features contain common information, i.e., the transferable features w.r.t. other domains. We then propose DIFEX for Domain-Invariant Feature EXploration. DIFEX employs a knowledge distillation framework to capture the high-level Fourier phase as the internally-invariant features and learn cross-domain correlation alignment as the mutually-invariant features. We further design an exploration loss to increase the feature diversity for better generalization. Extensive experiments on both time-series and visual benchmarks demonstrate that the proposed DIFEX achieves state-of-the-art performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google