Is Large-Scale Pretraining the Secret to Good Domain Generalization?

要約

マルチソースドメイン一般化（DG）は、複数のソースドメインでトレーニングし、目に見えないターゲットドメインで高い分類パフォーマンスを実現するタスクです。
最近の方法では、Webスケールの前提条件のバックボーンとソースデータから学習した新機能と堅牢な機能を組み合わせており、これによりベンチマークの結果が劇的に改善されました。
ただし、DG Finetuningメソッドが時間の経過とともに良くなっているのか、ベンチマークパフォーマンスが改善されているのかは、単により強力なトレーニングのアーティファクトであるかどうかは不明のままです。
以前の研究では、トレーニング前のデータとの知覚的な類似性はゼロショットパフォーマンスと相関することが示されていますが、DG設定ではその効果が限られていることがわかりました。
代わりに、事前トレーニングで知覚的に類似したデータを持っているだけでは十分ではないと仮定します。
そして、パフォーマンスを決定するのはこれらのデータがどれだけよく学習されたかです。
これにより、アライメント仮説が導入されます。これは、画像とクラスラベルのテキストの埋め込みが高い場合にのみ、最終的なDGパフォーマンスが高くなると述べています。
私たちの実験は、アラインメント仮説が真であることを確認し、評価データを予定内（IP）および予定外（OOP）に分割することにより、ドメインベッドデータセットで評価された既存のDGメソッドの分析ツールとして使用します。
評価されたすべてのDGメソッドがドメインベッドアップで苦労している一方で、最近のメソッドはドメインベッドIPで優れていることを示しています。
まとめて、私たちの調査結果は、事前トレーニングアライメントを超えて一般化できるDGメソッドの必要性を強調しています。

要約(オリジナル)

Multi-Source Domain Generalization (DG) is the task of training on multiple source domains and achieving high classification performance on unseen target domains. Recent methods combine robust features from web-scale pretrained backbones with new features learned from source data, and this has dramatically improved benchmark results. However, it remains unclear if DG finetuning methods are becoming better over time, or if improved benchmark performance is simply an artifact of stronger pre-training. Prior studies have shown that perceptual similarity to pre-training data correlates with zero-shot performance, but we find the effect limited in the DG setting. Instead, we posit that having perceptually similar data in pretraining is not enough; and that it is how well these data were learned that determines performance. This leads us to introduce the Alignment Hypothesis, which states that the final DG performance will be high if and only if alignment of image and class label text embeddings is high. Our experiments confirm the Alignment Hypothesis is true, and we use it as an analysis tool of existing DG methods evaluated on DomainBed datasets by splitting evaluation data into In-pretraining (IP) and Out-of-pretraining (OOP). We show that all evaluated DG methods struggle on DomainBed-OOP, while recent methods excel on DomainBed-IP. Put together, our findings highlight the need for DG methods which can generalize beyond pretraining alignment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google