SelecMix: Debiased Learning by Contradicting-pair Sampling

要約

ERM（empirical risk minimization）を用いて学習したニューラルネットワークは，学習データに偏りがある場合，特に学習ラベルが望ましくない特徴と強く相関している場合に，意図しない決定規則を学習することがある．このような特徴を学習しないようにするために、最近の手法では、偽の相関を示す例（すなわち、バイアスに沿った例）が少数派となり、他のバイアスに反する例が優勢になるように学習データを増加させる。しかし，これらのアプローチは生成モデルや分離された表現に依存しているため，学習や実データへの拡張が困難な場合がある．我々は、学習例の凸の組み合わせを作成する一般的な拡張機能であるmixupに基づく代替手段を提案する。本手法はSelecMixと呼ばれ、(i)同じラベルだが異なる偏った特徴を持つ例、(ii)異なるラベルだが類似した偏った特徴を持つ例という定義で矛盾するペアにmixupを適用する。このような対を識別するためには，未知の偏り特徴量に関して例を比較する必要がある．このため，学習時に偏った特徴を優先的に学習するという一般的なヒューリスティックを用いた補助的な対比モデルを利用する．標準的なベンチマークを用いた実験により，特にラベルノイズによって偏った特徴を持つ例の識別が困難な場合に，本手法が有効であることを示す．

要約(オリジナル)

Neural networks trained with ERM (empirical risk minimization) sometimes learn unintended decision rules, in particular when their training data is biased, i.e., when training labels are strongly correlated with undesirable features. To prevent a network from learning such features, recent methods augment training data such that examples displaying spurious correlations (i.e., bias-aligned examples) become a minority, whereas the other, bias-conflicting examples become prevalent. However, these approaches are sometimes difficult to train and scale to real-world data because they rely on generative models or disentangled representations. We propose an alternative based on mixup, a popular augmentation that creates convex combinations of training examples. Our method, coined SelecMix, applies mixup to contradicting pairs of examples, defined as showing either (i) the same label but dissimilar biased features, or (ii) different labels but similar biased features. Identifying such pairs requires comparing examples with respect to unknown biased features. For this, we utilize an auxiliary contrastive model with the popular heuristic that biased features are learned preferentially during training. Experiments on standard benchmarks demonstrate the effectiveness of the method, in particular when label noise complicates the identification of bias-conflicting examples.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL