Controlling Learned Effects to Reduce Spurious Correlations in Text Classifiers

要約

トレーニング特徴とターゲット ラベルの間の偽の相関を学習する NLP 分類器の問題に対処するための一般的なアプローチは、モデルの予測をこれらの特徴に対して不変にすることです。
ただし、特徴がターゲット ラベルに対してゼロではない因果効果を持ち、予測にとって重要である場合、これは逆効果になる可能性があります。
したがって、因果推論文献の方法を使用して、モデルの予測に対する特徴の学習された効果を、ラベルに対する特徴の推定効果に正規化するアルゴリズムを提案します。
これにより、特徴の推定効果を利用して、新しい拡張入力のラベルを適切に変更する自動拡張方法が実現します。
毒性および IMDB レビュー データセットに関して、提案されたアルゴリズムは偽の相関を最小限に抑え、少数グループ (つまり、偽の相関を破るサンプル) の精度を向上させると同時に、標準のトレーニングと比較して全体の精度も向上します。

要約(オリジナル)

To address the problem of NLP classifiers learning spurious correlations between training features and target labels, a common approach is to make the model’s predictions invariant to these features. However, this can be counter-productive when the features have a non-zero causal effect on the target label and thus are important for prediction. Therefore, using methods from the causal inference literature, we propose an algorithm to regularize the learnt effect of the features on the model’s prediction to the estimated effect of feature on label. This results in an automated augmentation method that leverages the estimated effect of a feature to appropriately change the labels for new augmented inputs. On toxicity and IMDB review datasets, the proposed algorithm minimises spurious correlations and improves the minority group (i.e., samples breaking spurious correlations) accuracy, while also improving the total accuracy compared to standard training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google