Bias-inducing geometries: an exactly solvable data model with fairness implications

要約

機械学習 (ML) は人間の偏見に気付かないかもしれませんが、その永続化を免れないわけではありません。
疎外や不法なグループの表現は、トレーニングに使用されるデータ自体で追跡できることが多く、学習モデルによって反映または強化される場合もあります。
現在の研究では、ML バイアスの出現においてデータ ジオメトリが果たす役割を明らかにすることを目的としています。
我々は、データの不均衡の正確に解決可能な高次元モデルを導入します。このモデルでは、多くのバイアス誘発要因に対するパラメトリック制御により、バイアス継承メカニズムの広範な調査が可能になります。
統計物理学のツールを通じて、この合成フレームワークでトレーニングされた学習モデルの典型的な特性を分析的に特徴付け、公平性評価に一般的に使用される観測値の正確な予測を取得します。
データ モデルの単純さにも関わらず、現実世界のデータセットで観察される典型的な不公平な動作を追跡し、解明します。
また、あるクラスのバイアス緩和戦略の詳細な分析特性も得られます。
まず、さまざまな不公平性指標の暗黙的な最小化を可能にする基本的な損失再重み付けスキームを検討し、いくつかの既存の公平性基準間の非互換性を定量化します。
次に、結合学習モデルの導入からなる、整合推論アプローチに基づく新しい軽減戦略を検討します。
このアプローチの理論的分析では、結合された戦略が優れた公平性と精度のトレードオフを実現できることが示されています。

要約(オリジナル)

Machine learning (ML) may be oblivious to human bias but it is not immune to its perpetuation. Marginalisation and iniquitous group representation are often traceable in the very data used for training, and may be reflected or even enhanced by the learning models. In the present work, we aim at clarifying the role played by data geometry in the emergence of ML bias. We introduce an exactly solvable high-dimensional model of data imbalance, where parametric control over the many bias-inducing factors allows for an extensive exploration of the bias inheritance mechanism. Through the tools of statistical physics, we analytically characterise the typical properties of learning models trained in this synthetic framework and obtain exact predictions for the observables that are commonly employed for fairness assessment. Despite the simplicity of the data model, we retrace and unpack typical unfairness behaviour observed on real-world datasets. We also obtain a detailed analytical characterisation of a class of bias mitigation strategies. We first consider a basic loss-reweighing scheme, which allows for an implicit minimisation of different unfairness metrics, and quantify the incompatibilities between some existing fairness criteria. Then, we consider a novel mitigation strategy based on a matched inference approach, consisting in the introduction of coupled learning models. Our theoretical analysis of this approach shows that the coupled strategy can strike superior fairness-accuracy trade-offs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google