FairGridSearch: A Framework to Compare Fairness-Enhancing Models

要約

機械学習モデルは、重要な意思決定アプリケーションでますます使用されるようになっている。しかし、これらのモデルは、実世界のデータに存在するバイアスを再現したり、増幅したりする可能性がある。文献には様々なバイアス緩和手法や基礎推定量があるが、特定のアプリケーションに最適なモデルを選択することは依然として困難である。 本稿では、二値分類に焦点を当て、公平性を高めるモデルを比較するための新しいフレームワークであるFairGridSearchを提案する。FairGridSearchは、様々なモデルパラメータの組み合わせの実験を可能にし、最適なものを推奨する。本研究では、FairGridSearchを3つの一般的なデータセット（Adult、COMPAS、German Credit）に適用し、メトリックの選択、ベース推定量の選択、分類閾値がモデルの公平性に与える影響を分析する。 その結果、モデル評価のために適切な精度と公平性のメトリックを選択することの重要性が浮き彫りになった。さらに、ベース推定量と分類しきい値の違いは、偏り緩和手法の有効性と公平性の安定性にそれぞれ影響を与えるが、その影響はすべてのデータセットで一貫していない。これらの知見に基づき、機械学習における公平性に関する今後の研究では、公平なモデルを構築する際に、偏り緩和手法だけでなく、より広範な要因を考慮すべきである。

要約(オリジナル)

Machine learning models are increasingly used in critical decision-making applications. However, these models are susceptible to replicating or even amplifying bias present in real-world data. While there are various bias mitigation methods and base estimators in the literature, selecting the optimal model for a specific application remains challenging. This paper focuses on binary classification and proposes FairGridSearch, a novel framework for comparing fairness-enhancing models. FairGridSearch enables experimentation with different model parameter combinations and recommends the best one. The study applies FairGridSearch to three popular datasets (Adult, COMPAS, and German Credit) and analyzes the impacts of metric selection, base estimator choice, and classification threshold on model fairness. The results highlight the significance of selecting appropriate accuracy and fairness metrics for model evaluation. Additionally, different base estimators and classification threshold values affect the effectiveness of bias mitigation methods and fairness stability respectively, but the effects are not consistent across all datasets. Based on these findings, future research on fairness in machine learning should consider a broader range of factors when building fair models, going beyond bias mitigation methods alone.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL