Learning Debiased Classifier with Biased Committee

要約

ニューラル ネットワークは、トレーニング データの大部分で示されるクラスと潜在属性との間の疑似相関に偏りがちであり、一般化機能が損なわれます。
この論文では、スプリアス属性ラベルを持たない、偏りのない分類子をトレーニングするための新しい方法を提案します。
この方法の重要なアイデアは、分類器の委員会を補助モジュールとして採用することです。この補助モジュールは、バイアスが競合するデータ、つまり偽の相関関係のないデータを識別し、メインの分類器をトレーニングするときにそれらに大きな重みを割り当てます。
委員会はブートストラップされたアンサンブルとして学習されるため、その分類器の大部分は多様であるだけでなくバイアスがかかっており、それに応じてバイアスが競合するデータのクラスを意図的に予測できません。
したがって、予測の難しさに関する委員会内のコンセンサスは、バイアスと矛盾するデータを特定して重み付けするための信頼できる手がかりを提供します。
さらに、委員会も主分類器から伝達された知識でトレーニングされるため、トレーニングが進むにつれて主分類器とともに徐々に偏りがなくなり、より困難なデータが強調されます。
5 つの実世界のデータセットで、私たちの方法は、私たちのような偽の属性ラベルを使用しない既存の方法よりも優れており、バイアス ラベルに依存する方法よりも優れている場合があります。

要約(オリジナル)

Neural networks are prone to be biased towards spurious correlations between classes and latent attributes exhibited in a major portion of training data, which ruins their generalization capability. This paper proposes a new method for training debiased classifiers with no spurious attribute label. The key idea of the method is to employ a committee of classifiers as an auxiliary module that identifies bias-conflicting data, i.e., data without spurious correlations, and assigns large weights to them when training the main classifier. The committee is learned as a bootstrapped ensemble so that a majority of its classifiers are biased as well as being diverse, and intentionally fail to predict classes of bias-conflicting data accordingly. The consensus within the committee on prediction difficulty thus provides a reliable cue for identifying and weighting bias-conflicting data. Moreover, the committee is also trained with knowledge transferred from the main classifier so that it gradually becomes debiased along with the main classifier and emphasizes more difficult data as training progresses. On five real-world datasets, our method outperforms existing methods using no spurious attribute label like ours and even surpasses those relying on bias labels occasionally.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google