Unfair geometries: exactly solvable data model with fairness implications

要約

機械学習 (ML) は人間の偏見に気付かないかもしれませんが、その永続性から免れることはできません。
周辺化と不正なグループ表現は、多くの場合、トレーニングに使用されるデータそのもので追跡可能であり、学習モデルによって反映または強化されることさえあります。
現在の作業では、ML バイアスの出現においてデータ ジオメトリが果たす役割を明らかにすることを目指しています。
データの不均衡の正確に解決可能な高次元モデルを導入します。ここでは、多くのバイアスを誘発する要因に対するパラメトリック制御により、バイアス継承メカニズムの広範な調査が可能になります。
統計物理学のツールを通じて、この合成フレームワークでトレーニングされた学習モデルの典型的な特性を分析的に特徴付け、公平性評価に一般的に使用される観測量の正確な予測を取得します。
データ モデルは単純ですが、実際のデータセットで観察される典型的な不公平な動作をたどり、アンパックします。
また、バイアス軽減戦略のクラスの詳細な分析特性も取得します。
最初に、さまざまな不公平メトリックの暗黙の最小化を可能にする基本的な損失再計量スキームを検討し、いくつかの既存の公平基準間の非互換性を定量化します。
次に、結合学習モデルの導入からなる、一致した推論アプローチに基づく新しい緩和戦略を検討します。
このアプローチの理論的分析は、結合された戦略が優れた公平性と精度のトレードオフを達成できることを示しています。

要約(オリジナル)

Machine learning (ML) may be oblivious to human bias but it is not immune to its perpetuation. Marginalisation and iniquitous group representation are often traceable in the very data used for training, and may be reflected or even enhanced by the learning models. In the present work, we aim at clarifying the role played by data geometry in the emergence of ML bias. We introduce an exactly solvable high-dimensional model of data imbalance, where parametric control over the many bias-inducing factors allows for an extensive exploration of the bias inheritance mechanism. Through the tools of statistical physics, we analytically characterise the typical properties of learning models trained in this synthetic framework and obtain exact predictions for the observables that are commonly employed for fairness assessment. Despite the simplicity of the data model, we retrace and unpack typical unfairness behaviour observed on real-world datasets. We also obtain a detailed analytical characterisation of a class of bias mitigation strategies. We first consider a basic loss-reweighing scheme, which allows for an implicit minimisation of different unfairness metrics, and quantify the incompatibilities between some existing fairness criteria. Then, we consider a novel mitigation strategy based on a matched inference approach, consisting in the introduction of coupled learning models. Our theoretical analysis of this approach shows that the coupled strategy can strike superior fairness-accuracy trade-offs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google