Counterpart Fairness — Addressing Systematic between-group Differences in Fairness Evaluation

要約

意思決定を支援するために機械学習 (ML) を使用する場合、アルゴリズムによる決定が公平であること、つまり、特定の個人やグループ、特に恵まれない人々を差別していないことを保証することが重要です。
既存のグループ公平性手法では、グループごとに均等な尺度が必要ですが、グループ間の系統的な差異が考慮されていません。
交絡因子は、感度の低い変数ではあるが系統的な差異を明らかにするものであり、公平性の評価に大きな影響を与える可能性があります。
この問題に取り組むには、公平性の測定は、異なるグループの対応者 (つまり、関心のあるタスクに関して互いに類似している個人) 間の比較に基づいて行う必要があると考えます。そのグループのアイデンティティは、探索によってアルゴリズム的に区別することはできません。
交絡因子。
私たちは、傾向スコアに基づいて相手を特定する方法を開発しました。これにより、公平性評価で「オレンジ」と「リンゴ」を比較することを防ぎます。
さらに、ML モデルの公平性を評価するために、Counterpart-Fairness (CFair) と呼ばれるカウンターパートベースの統計的公平性指標を提案します。
CFair の有効性を検証するために、さまざまな実証研究が実施されました。
コードは \url{https://github.com/zhengyjo/CFair} で公開しています。

要約(オリジナル)

When using machine learning (ML) to aid decision-making, it is critical to ensure that an algorithmic decision is fair, i.e., it does not discriminate against specific individuals/groups, particularly those from underprivileged populations. Existing group fairness methods require equal group-wise measures, which however fails to consider systematic between-group differences. The confounding factors, which are non-sensitive variables but manifest systematic differences, can significantly affect fairness evaluation. To tackle this problem, we believe that a fairness measurement should be based on the comparison between counterparts (i.e., individuals who are similar to each other with respect to the task of interest) from different groups, whose group identities cannot be distinguished algorithmically by exploring confounding factors. We have developed a propensity-score-based method for identifying counterparts, which prevents fairness evaluation from comparing ‘oranges’ with ‘apples’. In addition, we propose a counterpart-based statistical fairness index, termed Counterpart-Fairness (CFair), to assess fairness of ML models. Various empirical studies were conducted to validate the effectiveness of CFair. We publish our code at \url{https://github.com/zhengyjo/CFair}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google