Bias Mimicking: A Simple Sampling Approach for Bias Mitigation

要約

タイトル： バイアス緩和のための単純なサンプリングアプローチ：バイアスミミック

要約：

– ビジュアルリコグニションデータセットは、クラスラベル内のバイアスグループ（たとえば女性）が頻繁に不適切に表現されていることが示されている。
– これらのデータセットの偏りは、クラスラベルとバイアスグループ（年齢、性別、人種など）の間に偽の相関関係を学習するモデルの構築をもたらすことができる。
– この問題に対処する最近の方法の多くは、重要なアーキテクチャの変更または超パラメータの調整を必要とする追加の損失関数が必要である。
– 代わりに、クラス不均衡文献からのデータサンプリングの基準（アンダーサンプリング、アップウェイト）を使用することができ、コードの一行で実装できる。
– しかし、これらの方法には重要な欠点があります。たとえば、アンダーサンプリングはエポックあたりの入力分布の重要な部分をドロップし、オーバーサンプリングはサンプルを繰り返して過学習を引き起こします。
– これらの欠点に対処するために、我々は新しいクラス条件付きサンプリング方法、バイアスミミックを紹介します。
– この方法は、クラスcのバイアス分布（つまり、P_D（B | Y = c））がすべてのc ‘≠ cでミミックされる場合、YとBは統計的に独立であるという観察に基づいています。
– この考えを使用して、BMは、革新的なトレーニング手順により、モデルが重複することなく各エポックでディストリビューション全体に露出されることを保証します。
– したがって、バイアスミミックは、サンプリング方法において3％のアンダーレプレゼンテッドグループの精度を改善しながら、非サンプリング方法に対してパフォーマンスを維持または改善する。

要約(オリジナル)

Prior work has shown that Visual Recognition datasets frequently underrepresent bias groups $B$ (\eg Female) within class labels $Y$ (\eg Programmers). This dataset bias can lead to models that learn spurious correlations between class labels and bias groups such as age, gender, or race. Most recent methods that address this problem require significant architectural changes or additional loss functions requiring more hyper-parameter tuning. Alternatively, data sampling baselines from the class imbalance literature (\eg Undersampling, Upweighting), which can often be implemented in a single line of code and often have no hyperparameters, offer a cheaper and more efficient solution. However, these methods suffer from significant shortcomings. For example, Undersampling drops a significant part of the input distribution per epoch while Oversampling repeats samples, causing overfitting. To address these shortcomings, we introduce a new class-conditioned sampling method: Bias Mimicking. The method is based on the observation that if a class $c$ bias distribution, \ie $P_D(B|Y=c)$ is mimicked across every $c^{\prime}\neq c$, then $Y$ and $B$ are statistically independent. Using this notion, BM, through a novel training procedure, ensures that the model is exposed to the entire distribution per epoch without repeating samples. Consequently, Bias Mimicking improves underrepresented groups’ accuracy of sampling methods by 3\% over four benchmarks while maintaining and sometimes improving performance over nonsampling methods. Code: \url{https://github.com/mqraitem/Bias-Mimicking}

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI