Back-to-Bones: Rediscovering the Role of Backbones in Domain Generalization

要約

ドメイン汎化（DG）は、深層学習モデルが学習外の分布に汎化する能力を研究するものである。過去10年間、文献は、ドメインシフトに取り組むために、より抽象的で堅牢なデータ表現を得ることを主張する学習方法論のコレクションで大量に埋め尽くされてきました。最近の研究では、再現可能なDGのベンチマークが提供され、既存のアルゴリズムに対するナイーブな経験的リスク最小化（ERM）の有効性が指摘されています。しかしながら、研究者たちは相変わらず時代遅れの特徴抽出器を使い続けており、異なるバックボーンの効果にはまだ注意が払われていない。本論文では、バックボーンに立ち戻り、研究コミュニティがこれまで無視してきた、バックボーンに内在する汎化能力の包括的な分析を行うことを提案する。我々は、標準的な残差解から変換器ベースのアーキテクチャまで、様々な特徴抽出器を評価し、大規模な単一ドメインの分類精度とDG能力の間に明らかな線形相関を見いだした。我々の広範な実験により、競争力のあるバックボーンを採用し、効果的なデータ増強を行うことで、プレーンERMは最近のDGソリューションを凌駕し、最先端の精度を達成することが示されました。さらに、定性的な研究により、新しいバックボーンは同じクラスのサンプルに対してより類似した表現を与え、特徴空間において異なるドメインを分離することが明らかになりました。このような汎化能力の向上により、DGアルゴリズムが存在する余地はほとんどなくなり、バックボーンにスポットライトを当て、その上で一貫したアルゴリズムの開発を促すという、問題解決のための新しいパラダイムが示唆された。

要約(オリジナル)

Domain Generalization (DG) studies the capability of a deep learning model to generalize to out-of-training distributions. In the last decade, literature has been massively filled with a collection of training methodologies that claim to obtain more abstract and robust data representations to tackle domain shifts. Recent research has provided a reproducible benchmark for DG, pointing out the effectiveness of naive empirical risk minimization (ERM) over existing algorithms. Nevertheless, researchers persist in using the same outdated feature extractors, and no attention has been given to the effects of different backbones yet. In this paper, we start back to backbones proposing a comprehensive analysis of their intrinsic generalization capabilities, so far ignored by the research community. We evaluate a wide variety of feature extractors, from standard residual solutions to transformer-based architectures, finding an evident linear correlation between large-scale single-domain classification accuracy and DG capability. Our extensive experimentation shows that by adopting competitive backbones in conjunction with effective data augmentation, plain ERM outperforms recent DG solutions and achieves state-of-the-art accuracy. Moreover, our additional qualitative studies reveal that novel backbones give more similar representations to same-class samples, separating different domains in the feature space. This boost in generalization capabilities leaves marginal room for DG algorithms and suggests a new paradigm for investigating the problem, placing backbones in the spotlight and encouraging the development of consistent algorithms on top of them.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL