Fairness And Performance In Harmony: Data Debiasing Is All You Need

要約

機械学習 (ML) の予測と人間の意思決定の両方における公平性が重要であり、ML モデルはアルゴリズムとデータのバイアスを受けやすく、人間の意思決定は主観性と認知バイアスの影響を受ける傾向があります。
この研究では、870 のプロファイルを持つ実際の大学入学データセットを使用し、XGB、Bi-LSTM、KNN という 3 つの ML モデルを活用して公平性を調査します。
テキストの特徴は BERT 埋め込みでエンコードされます。
個人の公平性を図るため、一貫性スコアを使用して、さまざまな背景と ML モデルを持つ専門家間の意思決定の一貫性を評価します。
結果は、ML モデルが公平性において人間よりも 14.08% ～ 18.79% 優れていることを示しています。
グループの公平性のために、性別の偏りを軽減するパイプラインを提案し、予測パフォーマンスを損なうことなく性別固有の言語を削除するそのパイプラインの有効性を実証します。
バイアス除去後、すべてのモデルは分類精度を維持または向上させ、公平性とパフォーマンスが共存できるという仮説を検証します。
私たちの調査結果は、高い精度を維持しながら入学の公平性を高める ML の可能性を強調し、人間の判断と ML モデルを組み合わせたハイブリッド アプローチを提唱しています。

要約(オリジナル)

Fairness in both machine learning (ML) predictions and human decisions is critical, with ML models prone to algorithmic and data bias, and human decisions affected by subjectivity and cognitive bias. This study investigates fairness using a real-world university admission dataset with 870 profiles, leveraging three ML models, namely XGB, Bi-LSTM, and KNN. Textual features are encoded with BERT embeddings. For individual fairness, we assess decision consistency among experts with varied backgrounds and ML models, using a consistency score. Results show ML models outperform humans in fairness by 14.08% to 18.79%. For group fairness, we propose a gender-debiasing pipeline and demonstrate its efficacy in removing gender-specific language without compromising prediction performance. Post-debiasing, all models maintain or improve their classification accuracy, validating the hypothesis that fairness and performance can coexist. Our findings highlight ML’s potential to enhance fairness in admissions while maintaining high accuracy, advocating a hybrid approach combining human judgement and ML models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google