Echoes: Unsupervised Debiasing via Pseudo-bias Labeling in an Echo Chamber

要約

ニューラル ネットワークは、偏ったトレーニング データにさらされると偽の相関を学習することが多く、分布外のデータではパフォーマンスが低下します。
偏ったデータセットは、偏った特徴に応じて、偏ったサンプル (つまり、偏った特徴がある) と偏ったサンプル (つまり、偏った特徴がない) に分割できます。
最近のバイアス除去作業では、通常、トレーニング段階ではバイアス ラベルが利用できないことを前提としています。これは、そのような情報を取得するのが難しく、労力がかかるためです。
この教師なしの仮定に従って、既存の手法は通常 2 つのモデルをトレーニングします。1 つはバイアスされた特徴の学習に特化したバイアスされたモデル、もう 1 つはバイアスを除去するためにバイアスされたモデルからの情報を使用するターゲット モデルです。
この論文ではまず、既存のバイアスのあるモデルがトレーニング データ内のバイアスに矛盾するサンプルにオーバーフィットし、ターゲット モデルのバイアス解消パフォーマンスに悪影響を与えることを明らかにする実験分析を紹介します。
この問題に対処するために、私たちは Echoes と呼ばれる簡単で効果的な方法を提案します。これは、バイアスのあるモデルとターゲット モデルを異なる戦略でトレーニングします。
偏りのあるモデルによって誤って分類されたサンプルの重みを減らすことによって「エコー チェンバー」環境を構築し、偏りのあるモデルが偏りのあるサンプルに過剰適合することなく偏った特徴を完全に学習できるようにします。
次に、バイアスのあるモデルは、バイアスに矛盾するサンプルに低い重みを割り当てます。
その後、ターゲット モデルをトレーニングするために、バイアスのかかったモデルのサンプル重みの逆数を使用します。
実験では、合成データセットと現実世界のデータセットの両方で、私たちのアプローチが既存のベースラインと比較して優れたバイアス除去結果を達成できることを示しています。
私たちのコードは https://github.com/isruihu/Echoes で入手できます。

要約(オリジナル)

Neural networks often learn spurious correlations when exposed to biased training data, leading to poor performance on out-of-distribution data. A biased dataset can be divided, according to biased features, into bias-aligned samples (i.e., with biased features) and bias-conflicting samples (i.e., without biased features). Recent debiasing works typically assume that no bias label is available during the training phase, as obtaining such information is challenging and labor-intensive. Following this unsupervised assumption, existing methods usually train two models: a biased model specialized to learn biased features and a target model that uses information from the biased model for debiasing. This paper first presents experimental analyses revealing that the existing biased models overfit to bias-conflicting samples in the training data, which negatively impacts the debiasing performance of the target models. To address this issue, we propose a straightforward and effective method called Echoes, which trains a biased model and a target model with a different strategy. We construct an ‘echo chamber’ environment by reducing the weights of samples which are misclassified by the biased model, to ensure the biased model fully learns the biased features without overfitting to the bias-conflicting samples. The biased model then assigns lower weights on the bias-conflicting samples. Subsequently, we use the inverse of the sample weights of the biased model for training the target model. Experiments show that our approach achieves superior debiasing results compared to the existing baselines on both synthetic and real-world datasets. Our code is available at https://github.com/isruihu/Echoes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google