Bias Amplification Enhances Minority Group Performance

要約

標準的なトレーニングによって生成されたニューラル ネットワークは、特定の偽の特徴とラベル間の相関関係により、平均して高い精度を達成しているにもかかわらず、まれなサブグループでは精度が低いことが知られています。
最悪グループ損失の最小化に基づく以前のアプローチ (例: Group-DRO) は、最悪グループの精度を改善するのに効果的ですが、すべてのトレーニング サンプルに対して高価なグループ アノテーションが必要です。
このペーパーでは、グループ アノテーションが小規模な検証セットでのみ利用可能であるか、まったく利用できないという、より困難で現実的な設定に焦点を当てます。
我々は、新しい 2 段階のトレーニング アルゴリズムである BAM を提案します。最初の段階では、各トレーニング サンプルに学習可能な補助変数を導入することにより、バイアス増幅スキームを使用してモデルがトレーニングされます。
第 2 段階では、バイアス増幅モデルが誤分類したサンプルを重み付けし、再重み付けされたデータセットで同じモデルのトレーニングを続けます。
経験的に、BAM は、コンピュータ ビジョンおよび自然言語処理における偽相関ベンチマークで評価された既存の手法と比較して、競合するパフォーマンスを達成します。
さらに、最悪のグループ精度をほとんどまたはまったく失わずに、グループ アノテーションの必要性を排除できる、最小クラス精度差に基づく単純な停止基準を見つけます。
当社では広範な分析とアブレーションを実行して、さまざまなクラスおよびグループの不均衡率におけるアルゴリズムの有効性と堅牢性を検証します。

要約(オリジナル)

Neural networks produced by standard training are known to suffer from poor accuracy on rare subgroups despite achieving high accuracy on average, due to the correlations between certain spurious features and labels. Previous approaches based on worst-group loss minimization (e.g. Group-DRO) are effective in improving worse-group accuracy but require expensive group annotations for all the training samples. In this paper, we focus on the more challenging and realistic setting where group annotations are only available on a small validation set or are not available at all. We propose BAM, a novel two-stage training algorithm: in the first stage, the model is trained using a bias amplification scheme via introducing a learnable auxiliary variable for each training sample; in the second stage, we upweight the samples that the bias-amplified model misclassifies, and then continue training the same model on the reweighted dataset. Empirically, BAM achieves competitive performance compared with existing methods evaluated on spurious correlation benchmarks in computer vision and natural language processing. Moreover, we find a simple stopping criterion based on minimum class accuracy difference that can remove the need for group annotations, with little or no loss in worst-group accuracy. We perform extensive analyses and ablations to verify the effectiveness and robustness of our algorithm in varying class and group imbalance ratios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google