Learning Debiased Classifier with Biased Committee

要約

ニューラル ネットワークは、トレーニング データの大部分で示されるクラスと潜在属性との間の疑似相関に偏りがちであり、一般化機能が損なわれます。
偽の属性ラベルを持たないバイアス緩和された分類器をトレーニングするための新しい方法を提案します。
重要なアイデアは、分類子の委員会を補助モジュールとして採用することです。この補助モジュールは、バイアスが競合するデータ、つまり偽の相関関係のないデータを識別し、メインの分類子をトレーニングするときにそれらに大きな重みを割り当てます。
委員会はブートストラップされたアンサンブルとして学習されるため、その分類器の大部分は多様であるだけでなくバイアスがかかっており、それに応じてバイアスが競合するデータのクラスを意図的に予測できません。
したがって、予測の難しさに関する委員会内のコンセンサスは、バイアスと矛盾するデータを特定して重み付けするための信頼できる手がかりを提供します。
さらに、委員会も主分類器から伝達された知識でトレーニングされるため、トレーニングが進むにつれて主分類器とともに徐々に偏りがなくなり、より困難なデータが強調されます。
5 つの実世界のデータセットで、私たちの方法は、私たちのような偽の属性ラベルを使用しない先行技術よりも優れており、バイアス ラベルに依存するものよりも優れている場合があります。

要約(オリジナル)

Neural networks are prone to be biased towards spurious correlations between classes and latent attributes exhibited in a major portion of training data, which ruins their generalization capability. We propose a new method for training debiased classifiers with no spurious attribute label. The key idea is to employ a committee of classifiers as an auxiliary module that identifies bias-conflicting data, i.e., data without spurious correlation, and assigns large weights to them when training the main classifier. The committee is learned as a bootstrapped ensemble so that a majority of its classifiers are biased as well as being diverse, and intentionally fail to predict classes of bias-conflicting data accordingly. The consensus within the committee on prediction difficulty thus provides a reliable cue for identifying and weighting bias-conflicting data. Moreover, the committee is also trained with knowledge transferred from the main classifier so that it gradually becomes debiased along with the main classifier and emphasizes more difficult data as training progresses. On five real-world datasets, our method outperforms prior arts using no spurious attribute label like ours and even surpasses those relying on bias labels occasionally.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google