Overcoming Simplicity Bias in Deep Networks using a Feature Sieve

要約

単純性バイアスとは、深いネットワークが単純で予測力の低い特徴に過度に依存し、より強力で複雑な特徴を排除するという懸念すべき傾向です。
これは、現実世界のアプリケーションでは、限られたトレーニング データと偽の特徴とラベルの相関によってさらに悪化し、偏った不正確な予測につながります。
私たちは、DNN の単純性バイアスに対処するための直接的で介入的な方法を提案します。これを特徴ふるいと呼びます。
私たちは、ネットワークの下位層で簡単に計算できる偽の特徴を自動的に識別して抑制し、それによって上位のネットワーク レベルでより豊富で意味のある表現を抽出して利用できるようにすることを目指しています。
私たちは、制御されたデータセットと現実世界の画像の両方で、この差分抑制と関連する特徴の強化の具体的な証拠を提供し、多くの現実世界のバイアス除去ベンチマークでの大幅な向上を報告しています (Imagenet-A で 11.4% の相対ゲイン、BAR で 3.2% など)。
）。
重要なのは、偽の属性や特徴に関する事前の知識に依存しておらず、実際、そのような情報を明示的に組み込んだ多くのベースラインよりも優れたパフォーマンスを発揮することです。
私たちは、私たちの特徴ふるいの研究が、深層ネットワークの自動化された敵対的特徴抽出と表現学習における刺激的な新しい研究の方向性を切り開くと信じています。

要約(オリジナル)

Simplicity bias is the concerning tendency of deep networks to over-depend on simple, weakly predictive features, to the exclusion of stronger, more complex features. This is exacerbated in real-world applications by limited training data and spurious feature-label correlations, leading to biased, incorrect predictions. We propose a direct, interventional method for addressing simplicity bias in DNNs, which we call the feature sieve. We aim to automatically identify and suppress easily-computable spurious features in lower layers of the network, thereby allowing the higher network levels to extract and utilize richer, more meaningful representations. We provide concrete evidence of this differential suppression & enhancement of relevant features on both controlled datasets and real-world images, and report substantial gains on many real-world debiasing benchmarks (11.4% relative gain on Imagenet-A; 3.2% on BAR, etc). Crucially, we do not depend on prior knowledge of spurious attributes or features, and in fact outperform many baselines that explicitly incorporate such information. We believe that our feature sieve work opens up exciting new research directions in automated adversarial feature extraction and representation learning for deep networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google