Do ImageNet-trained models learn shortcuts? The impact of frequency shortcuts on generalization

要約

周波数のショートカットは、正しい分類のために大きく依存している特定の周波数パターンを指します。
以前の研究では、小さな画像データセットでトレーニングされたモデルがそのようなショートカットを悪用し、一般化パフォーマンスを損なう可能性があることが示されています。
ただし、周波数ショートカットを識別する既存の方法には、高価な計算が必要であり、大きなデータセットでトレーニングされたモデルを分析するために非現実的になります。
この作業では、より大規模に周波数ショートカットをより効率的に分析する最初のアプローチを提案します。
CNNモデルとトランスモデルの両方が、Imagenetで周波数ショートカットを学習することを示します。
また、周波数のショートカットソリューションは、テクスチャ情報を大部分保持する外部分布（OOD）テストセットで優れたパフォーマンスをもたらす可能性があることを公開します。
ただし、これらのショートカットは、主にテクスチャパターンと整合しており、レンディションベースのOODテストセットのモデルの一般化を妨げます。
これらの観察結果は、現在のOOD評価がモデルの一般化に対する周波数ショートカットの影響をしばしば見落としていることを示唆しています。
したがって、将来のベンチマークは、これらのショートカットを明示的に評価し、会計処理して、より広い範囲のOODシナリオに一般化するモデルを構築することから恩恵を受ける可能性があります。

要約(オリジナル)

Frequency shortcuts refer to specific frequency patterns that models heavily rely on for correct classification. Previous studies have shown that models trained on small image datasets often exploit such shortcuts, potentially impairing their generalization performance. However, existing methods for identifying frequency shortcuts require expensive computations and become impractical for analyzing models trained on large datasets. In this work, we propose the first approach to more efficiently analyze frequency shortcuts at a larger scale. We show that both CNN and transformer models learn frequency shortcuts on ImageNet. We also expose that frequency shortcut solutions can yield good performance on out-of-distribution (OOD) test sets which largely retain texture information. However, these shortcuts, mostly aligned with texture patterns, hinder model generalization on rendition-based OOD test sets. These observations suggest that current OOD evaluations often overlook the impact of frequency shortcuts on model generalization. Future benchmarks could thus benefit from explicitly assessing and accounting for these shortcuts to build models that generalize across a broader range of OOD scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google