Rethinking the Evaluation Protocol of Domain Generalization

要約

ドメインの一般化は、複数のトレーニング ドメインから学習した共通の知識を活用して、まだ見ぬテスト ドメインに一般化することで、配布外 (OOD) の一般化の課題を解決することを目的としています。
OOD 汎化能力を正確に評価するには、テスト データ情報が利用できないことを確認する必要があります。
ただし、現在のドメイン一般化プロトコルでは、依然としてテスト データ情報漏洩の可能性があります。
このペーパーでは、現在のプロトコルの 2 つの側面 (ImageNet での事前トレーニングと Oracle モデルの選択) におけるテスト データ情報漏洩の潜在的なリスクを検証します。
私たちは、ゼロからトレーニングし、複数のテスト ドメインを使用することで、OOD 汎化能力をより正確に評価できることを提案します。
また、修正されたプロトコルを使用してアルゴリズムを再実行し、より公正な比較によるドメインの一般化における将来の研究を促進するための新しいリーダーボードを導入します。

要約(オリジナル)

Domain generalization aims to solve the challenge of Out-of-Distribution (OOD) generalization by leveraging common knowledge learned from multiple training domains to generalize to unseen test domains. To accurately evaluate the OOD generalization ability, it is necessary to ensure that test data information is unavailable. However, the current domain generalization protocol may still have potential test data information leakage. This paper examines the potential risks of test data information leakage in two aspects of the current protocol: pretraining on ImageNet and oracle model selection. We propose that training from scratch and using multiple test domains would result in a more precise evaluation of OOD generalization ability. We also rerun the algorithms with the modified protocol and introduce a new leaderboard to encourage future research in domain generalization with a fairer comparison.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google