Bias Mimicking: A Simple Sampling Approach for Bias Mitigation

要約

視覚認識データセットでは、クラスラベル $Y$ (プログラマ) 内のバイアスグループ $B$ (女性) が頻繁に過小評価されることが、先行研究により示されている。このようなデータセットの偏りは、クラスラベルと年齢、性別、人種などの偏りグループとの間の偽の相関を学習するモデルにつながる可能性がある。この問題に対処する最近の手法の多くは、アーキテクチャの大幅な変更や、より多くのハイパーパラメータチューニングを必要とする損失関数を追加する必要があります。また、クラス不均衡の文献にあるデータサンプリング・ベースライン（ \eg Undersampling, Upweighting）は、1行のコードで実装でき、ハイパーパラメータを持たないことが多く、より安価で効率的な解決策を提供することができます。しかし，これらの方法には大きな欠点がある．例えば、アンダーサンプリングは入力分布の重要な部分を削除し、オーバーサンプリングはサンプルを繰り返し、オーバーフィッティングを引き起こす。これらの欠点に対処するために、我々は新しいクラス条件付きサンプリング法を導入する。バイアスミミッキング(Bias Mimicking)である。この方法は、クラス$c$のバイアス分布、 \ie $P_D(B|Y=c)$ を$c^{prime}neq c$ごとに模倣すると、$Y$と$B$は統計的に独立であるという観測に基づくものである。この概念を用いて、BMは新しい学習方法によって、サンプルを繰り返すことなく、モデルが分布全体にさらされることを保証する。その結果、Bias Mimickingは、4つのベンチマークにおいて、サンプリング手法の劣等生の平均精度を3%改善し、非サンプリング手法の性能を維持し、時には向上させることができます。コードは https://github.com/mqraitem/Bias-Mimicking にあります。

要約(オリジナル)

Prior work has shown that Visual Recognition datasets frequently underrepresent bias groups $B$ (\eg Female) within class labels $Y$ (\eg Programmers). This dataset bias can lead to models that learn spurious correlations between class labels and bias groups such as age, gender, or race. Most recent methods that address this problem require significant architectural changes or additional loss functions requiring more hyper-parameter tuning. Alternatively, data sampling baselines from the class imbalance literature (\eg Undersampling, Upweighting), which can often be implemented in a single line of code and often have no hyperparameters, offer a cheaper and more efficient solution. However, these methods suffer from significant shortcomings. For example, Undersampling drops a significant part of the input distribution while Oversampling repeats samples, causing overfitting. To address these shortcomings, we introduce a new class conditioned sampling method: Bias Mimicking. The method is based on the observation that if a class $c$ bias distribution, \ie $P_D(B|Y=c)$ is mimicked across every $c^{\prime}\neq c$, then $Y$ and $B$ are statistically independent. Using this notion, BM, through a novel training procedure, ensures that the model is exposed to the entire distribution without repeating samples. Consequently, Bias Mimicking improves underrepresented groups average accuracy of sampling methods by 3\% over four benchmarks while maintaining and sometimes improving performance over non sampling methods. Code can be found in https://github.com/mqraitem/Bias-Mimicking

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL