An Effective Theory of Bias Amplification

要約

機械学習モデルはデータに存在するバイアスを捉えて増幅する可能性があり、その結果、社会的グループ間でテストのパフォーマンスにばらつきが生じる可能性があります。
これらの潜在的なバイアスをよりよく理解し、評価し、軽減するには、モデル設計の選択とデータ分布のプロパティがどのようにバイアスに寄与する可能性があるかについて理論的に深く理解する必要があります。
この研究では、ランダム投影の有無にかかわらず、リッジ回帰のコンテキストで正確な分析理論を提供します。前者は単純化された領域でニューラル ネットワークをモデル化します。
私たちの理論は、機械学習のバイアスを統一的かつ厳密に説明し、さまざまな特徴やパラメーターの領域におけるバイアスの増幅や少数グループのバイアスなどの現象についての洞察を提供します。
たとえば、バイアスの増幅を回避するために最適な正則化ペナルティやトレーニング時間が存在する可能性があり、パラメータ化を増やしても消えないグループ間のテスト誤差の根本的な違いが存在する可能性があることを実証します。
重要なのは、私たちの理論的予測は文献で報告されているいくつかの経験的観察と一致していることです。
私たちは、多様な合成および半合成データセットに関する理論を広範囲に経験的に検証しています。

要約(オリジナル)

Machine learning models may capture and amplify biases present in data, leading to disparate test performance across social groups. To better understand, evaluate, and mitigate these possible biases, a deeper theoretical understanding of how model design choices and data distribution properties could contribute to bias is needed. In this work, we contribute a precise analytical theory in the context of ridge regression, both with and without random projections, where the former models neural networks in a simplified regime. Our theory offers a unified and rigorous explanation of machine learning bias, providing insights into phenomena such as bias amplification and minority-group bias in various feature and parameter regimes. For example, we demonstrate that there may be an optimal regularization penalty or training time to avoid bias amplification, and there can be fundamental differences in test error between groups that do not vanish with increased parameterization. Importantly, our theoretical predictions align with several empirical observations reported in the literature. We extensively empirically validate our theory on diverse synthetic and semi-synthetic datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google