Exploring Equality: An Investigation into Custom Loss Functions for Fairness Definitions

要約

本論文では、特定の公平基準に最適化されたカスタム損失関数で訓練されたニューラルネットワークを構築することで、等化オッズ、格差影響、機会均等などの様々な公平指標とCOMPAS内の予測精度との間の複雑なトレードオフを探索する。本論文では、Gupta et al. (2024)によって理論的に提案された、新しいGroup Accuracy Parity (GAP)フレームワークの最初の公平性主導の実装を作成し、COMPASに適用する。異なる公平性の理想に最適化されたCOMPASモデルの公平性を運用し、正確に比較するために、本論文はバイオリングラフのようなデータ可視化を活用し、パレートフロントと多変量解析を組み込んだ分析手順を開発し、提案する。本稿では、COMPASの現在の全国的な実装や、より伝統的な公平性の定義に最適化されたCOMPASの代替的な実装と比較して、GAPは公平性と精度の間の強化された均衡を達成すると結論づける。本論文のCOMPASのアルゴリズム的な改良がその公平性を著しく増大させる一方で、外的なバイアスはその実装の公平性を損なう。予測的な取り締まりのような慣行や、COMPAS の内部構造に関する透明性の欠如のような問題は、このアルゴリズムの歴史的な不公正を助長してきた。COMPASの予測方法論に関する開発とともに、COMPASの公正な配備のためには、法的、制度的な変更が必要である。

要約(オリジナル)

This paper explores the complex tradeoffs between various fairness metrics such as equalized odds, disparate impact, and equal opportunity and predictive accuracy within COMPAS by building neural networks trained with custom loss functions optimized to specific fairness criteria. This paper creates the first fairness-driven implementation of the novel Group Accuracy Parity (GAP) framework, as theoretically proposed by Gupta et al. (2024), and applies it to COMPAS. To operationalize and accurately compare the fairness of COMPAS models optimized to differing fairness ideals, this paper develops and proposes a combinatory analytical procedure that incorporates Pareto front and multivariate analysis, leveraging data visualizations such as violin graphs. This paper concludes that GAP achieves an enhanced equilibrium between fairness and accuracy compared to COMPAS’s current nationwide implementation and alternative implementations of COMPAS optimized to more traditional fairness definitions. While this paper’s algorithmic improvements of COMPAS significantly augment its fairness, external biases undermine the fairness of its implementation. Practices such as predictive policing and issues such as the lack of transparency regarding COMPAS’s internal workings have contributed to the algorithm’s historical injustice. In conjunction with developments regarding COMPAS’s predictive methodology, legal and institutional changes must happen for COMPAS’s just deployment.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL