A Systematic Study of Bias Amplification

要約

最近の研究では、機械学習モデルによる予測が、トレーニング データに存在するバイアスを増幅する可能性があることが示唆されています。
モデルがバイアスを増幅すると、一部のグループについて、トレーニング データの統計に基づいて予想されるよりも高いレートで特定の予測が行われます。
このようなバイアス増幅を軽減するには、その増幅を引き起こす最新の機械学習のメカニズムを深く理解する必要があります。
バイアス増幅がいつ、どのように発生するかについて、最初の体系的で制御された研究を行います。
この研究を可能にするために、(合成) バイアスを厳密に制御できる単純な画像分類問題を設計します。
この問題を調査した結果、バイアス増幅の強さは、モデルの精度、モデルのキャパシティ、モデルの過信、トレーニング データの量などの測定値と相関していることが明らかになりました。
また、トレーニング中にバイアス増幅が大きく変化する可能性があることもわかりました。
最後に、バイアス増幅は、グループ メンバーシップの認識の難しさに対する分類タスクの難しさに依存する可能性があることを発見しました。バイアス増幅は、クラス メンバーシップよりもグループ メンバーシップを認識しやすい場合に主に発生するようです。
私たちの結果は、機械学習モデルをトレーニングするためのベスト プラクティスを示唆しており、より良い緩和戦略の開発への道を開くのに役立つことを願っています。
コードは https://github.com/facebookresearch/cv_bias_amplification にあります。

要約(オリジナル)

Recent research suggests that predictions made by machine-learning models can amplify biases present in the training data. When a model amplifies bias, it makes certain predictions at a higher rate for some groups than expected based on training-data statistics. Mitigating such bias amplification requires a deep understanding of the mechanics in modern machine learning that give rise to that amplification. We perform the first systematic, controlled study into when and how bias amplification occurs. To enable this study, we design a simple image-classification problem in which we can tightly control (synthetic) biases. Our study of this problem reveals that the strength of bias amplification is correlated to measures such as model accuracy, model capacity, model overconfidence, and amount of training data. We also find that bias amplification can vary greatly during training. Finally, we find that bias amplification may depend on the difficulty of the classification task relative to the difficulty of recognizing group membership: bias amplification appears to occur primarily when it is easier to recognize group membership than class membership. Our results suggest best practices for training machine-learning models that we hope will help pave the way for the development of better mitigation strategies. Code can be found at https://github.com/facebookresearch/cv_bias_amplification.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google