Towards Combating Frequency Simplicity-biased Learning for Domain Generalization

要約

ドメイン一般化手法は、目に見えないターゲット ドメインに適切に一般化できる移転可能な知識をソース ドメインから学習することを目的としています。
最近の研究では、ニューラル ネットワークは単純性に偏った学習動作に頻繁に悩まされ、意味情報ではなく特定の周波数セット、つまり周波数ショートカットに過度に依存し、汎化パフォーマンスが低下することが示されています。
以前のデータ拡張技術は汎化パフォーマンスの向上に成功したにもかかわらず、より多くの頻度のショートカットを適用することを意図しており、それによって汎化が改善されたという幻覚を引き起こします。
この論文では、データ駆動型の観点から、頻度のショートカットを適用するこのような学習行為を防止することを目的としています。
データセットの周波数特性に基づく、さまざまな空間周波数成分に対するモデルの偏った学習動作の理論的正当性を考慮すると、フーリエ領域でデータセットの統計構造を変更することで、さまざまな周波数成分に対する学習動作を操作できると主張します。
直感的には、周波数ショートカットはデータセット構造の支配的で依存性の高い周波数に隠されているため、依存しすぎた周波数成分を動的に混乱させると、周波数ショートカットの適用が妨げられる可能性があります。
この目的を達成するために、モデルの学習動作に動的に影響を与え、最終的にショートカット学習を軽減する戦略として機能することを目的として、データセットの周波数特性を協調的かつ適応的に調整するように設計された 2 つの効果的なデータ拡張モジュールを提案します。
コードは AdvFrequency (https://github.com/C0notSilly/AdvFrequency) で入手できます。

要約(オリジナル)

Domain generalization methods aim to learn transferable knowledge from source domains that can generalize well to unseen target domains. Recent studies show that neural networks frequently suffer from a simplicity-biased learning behavior which leads to over-reliance on specific frequency sets, namely as frequency shortcuts, instead of semantic information, resulting in poor generalization performance. Despite previous data augmentation techniques successfully enhancing generalization performances, they intend to apply more frequency shortcuts, thereby causing hallucinations of generalization improvement. In this paper, we aim to prevent such learning behavior of applying frequency shortcuts from a data-driven perspective. Given the theoretical justification of models’ biased learning behavior on different spatial frequency components, which is based on the dataset frequency properties, we argue that the learning behavior on various frequency components could be manipulated by changing the dataset statistical structure in the Fourier domain. Intuitively, as frequency shortcuts are hidden in the dominant and highly dependent frequencies of dataset structure, dynamically perturbating the over-reliance frequency components could prevent the application of frequency shortcuts. To this end, we propose two effective data augmentation modules designed to collaboratively and adaptively adjust the frequency characteristic of the dataset, aiming to dynamically influence the learning behavior of the model and ultimately serving as a strategy to mitigate shortcut learning. Code is available at AdvFrequency (https://github.com/C0notSilly/AdvFrequency).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google