Gradient Extrapolation for Debiased Representation Learning

要約

経験的リスク最小化（ERM）で訓練された機械学習分類モデルは、しばしば不注意に偽の相関に依存しています。
テストデータに存在しない場合、非標的属性とターゲットラベルとの間のこれらの意図しない関連性は、一般化が不十分になります。
このペーパーでは、モデルの最適化の観点からこの問題に対処し、既知の属性トレーニングケースの両方で偏見の表現を学習するように設計された、Debiased表現学習（Gerne）の勾配外挿（Gerne）を提案します。
Gerneは、異なる量のスプリアス相関を持つ2つの異なるバッチを使用して、各バッチの損失から計算された2つの勾配の線形外挿としてターゲット勾配を定義します。
不適切な相関の量が少ないバッチの勾配に向けられた場合、外挿された勾配は、偏見モデルの学習に向けてトレーニングプロセスを導くことができることが実証されています。
Gerneは、特別なケースとして示されているERM、REWEIGNING、RESAMPLINGなどの方法を使用して紛失するための一般的な枠組みとして機能します。
外挿係数の理論上の上限と下限は、収束を確保するために導出されます。
この因子を調整することにより、Gerneを調整して、グループバランスの精度（GBA）または最悪のグループの精度を最大化することができます。
提案されたアプローチは、5つのビジョンと1つのNLPベンチマークで検証されており、最先端のベースライン方法と比較して競争力のある、しばしば優れたパフォーマンスを示しています。

要約(オリジナル)

Machine learning classification models trained with empirical risk minimization (ERM) often inadvertently rely on spurious correlations. When absent in the test data, these unintended associations between non-target attributes and target labels lead to poor generalization. This paper addresses this problem from a model optimization perspective and proposes a novel method, Gradient Extrapolation for Debiased Representation Learning (GERNE), designed to learn debiased representations in both known and unknown attribute training cases. GERNE uses two distinct batches with different amounts of spurious correlations to define the target gradient as the linear extrapolation of two gradients computed from each batch’s loss. It is demonstrated that the extrapolated gradient, if directed toward the gradient of the batch with fewer amount of spurious correlation, can guide the training process toward learning a debiased model. GERNE can serve as a general framework for debiasing with methods, such as ERM, reweighting, and resampling, being shown as special cases. The theoretical upper and lower bounds of the extrapolation factor are derived to ensure convergence. By adjusting this factor, GERNE can be adapted to maximize the Group-Balanced Accuracy (GBA) or the Worst-Group Accuracy. The proposed approach is validated on five vision and one NLP benchmarks, demonstrating competitive and often superior performance compared to state-of-the-art baseline methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google