Improving Group Robustness on Spurious Correlation via Evidential Alignment

要約

深いニューラルネットワークは、多くの場合、偽の相関、つまり非因果的特徴とターゲットとの間の表面的な関連性を学び、依存しています。
たとえば、画像分類器は砂漠の背景に基づいてラクダを識別する場合があります。
トレーニング中に全体的な精度が高くなる可能性がありますが、そのような相関関係が成り立たないより多様なシナリオの一般化を低下させます。
この問題は、分散型の堅牢性と信頼性に大きな課題をもたらします。
既存の方法は、通常、外部グループアノテーションまたは補助的な決定論的モデルを使用して、偏りのない表現を学習することにより、この問題を軽減します。
ただし、そのような情報は取得するのに費用がかかり、決定論的モデルはモデルによって学習したバイアスの全範囲をキャプチャできない場合があります。
これらの制限に対処するために、グループアノテーションを必要とせずにバイアスモデルの動作を理解するために不確実性の定量化を活用する新しいフレームワークである証拠アライメントを提案します。
2次リスクの最小化でモデル予測の証拠を定量化し、提案された証拠キャリブレーション手法でバイアスモデルを調整することにより、証拠のアライメントは、コア機能を維持しながら、偽の相関を識別および抑制します。
私たちは、偏ったモデルのパターンを学習し、偽の相関注釈を必要とせずにモデルを削除することができると理論的に正当化します。
経験的な結果は、この方法が多様なアーキテクチャとデータのモダリティ全体でグループの堅牢性を大幅に改善し、偽の相関に対するスケーラブルで原則的なソリューションを提供することを示しています。

要約(オリジナル)

Deep neural networks often learn and rely on spurious correlations, i.e., superficial associations between non-causal features and the targets. For instance, an image classifier may identify camels based on the desert backgrounds. While it can yield high overall accuracy during training, it degrades generalization on more diverse scenarios where such correlations do not hold. This problem poses significant challenges for out-of-distribution robustness and trustworthiness. Existing methods typically mitigate this issue by using external group annotations or auxiliary deterministic models to learn unbiased representations. However, such information is costly to obtain, and deterministic models may fail to capture the full spectrum of biases learned by the models. To address these limitations, we propose Evidential Alignment, a novel framework that leverages uncertainty quantification to understand the behavior of the biased models without requiring group annotations. By quantifying the evidence of model prediction with second-order risk minimization and calibrating the biased models with the proposed evidential calibration technique, Evidential Alignment identifies and suppresses spurious correlations while preserving core features. We theoretically justify the effectiveness of our method as capable of learning the patterns of biased models and debiasing the model without requiring any spurious correlation annotations. Empirical results demonstrate that our method significantly improves group robustness across diverse architectures and data modalities, providing a scalable and principled solution to spurious correlations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google