Adaptive Domain Generalization via Online Disagreement Minimization

要約

ディープニューラルネットワークは、展開と学習の間に分布のずれがあると、性能が著しく低下する。ドメイン汎化（DG）は、ソースドメインの集合にのみ依存することで、モデルを未知のターゲットドメインに安全に転送することを目的としています。これまで様々な領域汎化アプローチが提案されているが、DomainBedと名付けられた最近の研究では、そのほとんどが単純なEmpirical Risk Minimization (ERM) に勝てないことが明らかになった。このため、我々は既存のDGアルゴリズムに直交し、その性能を一貫して向上させることができる一般的なフレームワークを提案する。従来のDGアルゴリズムが静的なソースモデルで構成されているのに対し、我々の提案するAdaODMはテスト時にソースモデルを適応的に変更し、異なるターゲットドメインに対応する。具体的には、共有されたドメインジェネリックな特徴抽出器に対して、ドメインに特化した分類器を複数作成する。特徴抽出器と分類器は敵対的な方法で学習され、特徴抽出器は入力サンプルをドメイン不変空間に埋め込み、複数の分類器はそれぞれが特定のソースドメインに関連する異なる判断境界を捕らえる。テスト時には、ソース分類器間の予測の不一致を利用することで、ターゲットドメインとソースドメイン間の分布の違いを効果的に測定することができます。テスト時に不一致を最小化するようにソースモデルを微調整することで、ターゲットドメインの特徴を不変特徴空間にうまく整合させることができる。我々はAdaODMをERMとCORALという2つの一般的なDG手法と、VLCS, PACS, OfficeHome, TerraIncognitaという4つのDGベンチマークで検証した。その結果、AdaODMは未知の領域での汎化能力を安定的に向上させ、最先端の性能を達成することがわかった。

要約(オリジナル)

Deep neural networks suffer from significant performance deterioration when there exists distribution shift between deployment and training. Domain Generalization (DG) aims to safely transfer a model to unseen target domains by only relying on a set of source domains. Although various DG approaches have been proposed, a recent study named DomainBed, reveals that most of them do not beat the simple Empirical Risk Minimization (ERM). To this end, we propose a general framework that is orthogonal to existing DG algorithms and could improve their performance consistently. Unlike previous DG works that stake on a static source model to be hopefully a universal one, our proposed AdaODM adaptively modifies the source model at test time for different target domains. Specifically, we create multiple domain-specific classifiers upon a shared domain-generic feature extractor. The feature extractor and classifiers are trained in an adversarial way, where the feature extractor embeds the input samples into a domain-invariant space, and the multiple classifiers capture the distinct decision boundaries that each of them relates to a specific source domain. During testing, distribution differences between target and source domains could be effectively measured by leveraging prediction disagreement among source classifiers. By fine-tuning source models to minimize the disagreement at test time, target domain features are well aligned to the invariant feature space. We verify AdaODM on two popular DG methods, namely ERM and CORAL, and four DG benchmarks, namely VLCS, PACS, OfficeHome, and TerraIncognita. The results show AdaODM stably improves the generalization capacity on unseen domains and achieves state-of-the-art performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL