In Search of Forgotten Domain Generalization

要約

ドメイン外（OOD）一般化は、1つ以上のドメインで訓練されたモデルの能力が、目に見えないドメインに一般化する能力です。
コンピュータービジョンのイメージネット時代では、モデルのoodパフォーマンスを測定するための評価セットが、スタイルに関して厳密にoodになるように設計されています。
ただし、データセットが幅広いドメインとリスクテストドメイン汚染をカバーするため、ファンデーションモデルと広大なWebスケールデータセットの出現により、この評価プロセスが難読化されています。
忘れられたドメインの一般化を求めて、Laion（Laion-Natural and Laionレンディション）からサブサンプリングされた大規模なデータセットを作成します。
これらのデータセットでクリップモデルをトレーニングすると、パフォーマンスのかなりの部分がドメイン内の例で説明されていることがわかります。
これは、Imagenet時代からのOOD一般化の課題が依然として普及しており、WebスケールのデータでのトレーニングがOOD一般化の幻想を生み出すだけであることを示しています。
さらに、さまざまな割合で自然データセットとレンディションデータセットを組み合わせることを体系的に調査することにより、これらのドメイン全体でモデル一般化の最適な混合比を特定します。
私たちのデータセットと結果は、大規模なOODの堅牢性の意味のある評価を再度に繰り返します – モデルの堅牢性を改善するための重要な前提条件です。

要約(オリジナル)

Out-of-Domain (OOD) generalization is the ability of a model trained on one or more domains to generalize to unseen domains. In the ImageNet era of computer vision, evaluation sets for measuring a model’s OOD performance were designed to be strictly OOD with respect to style. However, the emergence of foundation models and expansive web-scale datasets has obfuscated this evaluation process, as datasets cover a broad range of domains and risk test domain contamination. In search of the forgotten domain generalization, we create large-scale datasets subsampled from LAION — LAION-Natural and LAION-Rendition — that are strictly OOD to corresponding ImageNet and DomainNet test sets in terms of style. Training CLIP models on these datasets reveals that a significant portion of their performance is explained by in-domain examples. This indicates that the OOD generalization challenges from the ImageNet era still prevail and that training on web-scale data merely creates the illusion of OOD generalization. Furthermore, through a systematic exploration of combining natural and rendition datasets in varying proportions, we identify optimal mixing ratios for model generalization across these domains. Our datasets and results re-enable meaningful assessment of OOD robustness at scale — a crucial prerequisite for improving model robustness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google