Fix Fairness, Don’t Ruin Accuracy: Performance Aware Fairness Repair using AutoML

要約

機械学習 (ML) は重要な意思決定ソフトウェアで使用されることが増えていますが、インシデントにより ML 予測の公平性について疑問が生じています。
この問題に対処するには、ML ベースのソフトウェアのバイアスを軽減するための新しいツールと方法が必要です。
これまでの研究では、特定の状況でのみ機能し、多くの場合精度の低下を招くバイアス緩和アルゴリズムが提案されてきました。
私たちが提案するソリューションは、自動機械学習 (AutoML) 技術を利用してバイアスを軽減する新しいアプローチです。
私たちのアプローチには、新しい最適化機能と公平性を意識した検索スペースという 2 つの重要な革新が含まれています。
AutoML のデフォルトの最適化機能を改善し、公平性の目標を組み込むことで、精度をほとんど、またはまったく損なうことなくバイアスを軽減できます。
さらに、計算コストと修復時間を削減するために、AutoML 用の公平性を意識した検索スペース プルーニング手法を提案します。
最先端の Auto-Sklearn ツールに基づいて構築された当社のアプローチは、現実世界のシナリオにおけるバイアスを軽減するように設計されています。
私たちのアプローチの有効性を実証するために、4 つの公平性の問題と 16 の異なる ML モデルに関するアプローチを評価しました。その結果、ベースラインおよび既存のバイアス緩和手法と比べて大幅な改善が見られました。
私たちのアプローチである Fair-AutoML は、バグのある 64 件中 60 件の修復に成功しましたが、既存のバイアス軽減技術では 64 件中 44 件までしか修復できませんでした。

要約(オリジナル)

Machine learning (ML) is increasingly being used in critical decision-making software, but incidents have raised questions about the fairness of ML predictions. To address this issue, new tools and methods are needed to mitigate bias in ML-based software. Previous studies have proposed bias mitigation algorithms that only work in specific situations and often result in a loss of accuracy. Our proposed solution is a novel approach that utilizes automated machine learning (AutoML) techniques to mitigate bias. Our approach includes two key innovations: a novel optimization function and a fairness-aware search space. By improving the default optimization function of AutoML and incorporating fairness objectives, we are able to mitigate bias with little to no loss of accuracy. Additionally, we propose a fairness-aware search space pruning method for AutoML to reduce computational cost and repair time. Our approach, built on the state-of-the-art Auto-Sklearn tool, is designed to reduce bias in real-world scenarios. In order to demonstrate the effectiveness of our approach, we evaluated our approach on four fairness problems and 16 different ML models, and our results show a significant improvement over the baseline and existing bias mitigation techniques. Our approach, Fair-AutoML, successfully repaired 60 out of 64 buggy cases, while existing bias mitigation techniques only repaired up to 44 out of 64 cases.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google