Interpretable Distribution-Invariant Fairness Measures for Continuous Scores

要約

アルゴリズムの公平性の尺度は通常、二者決定の文脈で議論されます。
継続的なスコアへのアプローチを拡張します。
これまでのところ、この目的のために主に ROC ベースの対策が提案されています。
他の既存の方法は、スコアの分布に大きく依存しており、タスクのランキングには適していないか、効果の大きさが解釈できません。
ここでは、Wasserstein 距離に基づいた合理的な解釈を伴う、連続スコアの公平性尺度の分布的に不変なバージョンを提案します。
私たちの尺度は簡単に計算でき、グループ間の格差の強さを定量化して解釈したり、異なるモデル、データセット、または時点間のバイアスを比較したりするのに適しています。
我々は、スコアに関する既存の公平性尺度のさまざまなファミリー間のリンクを導き出し、提案された分布的に不変の公平性尺度が ROC ベースの公平性尺度よりも優れていることを示します。これは、提案された公平性尺度がより明示的であり、ROC ベースの公平性尺度では見逃される重大なバイアスを定量化できるためです。
最後に、最も一般的に使用される公平性ベンチマーク データセットでの実験を通じて、その有効性を実証します。

要約(オリジナル)

Measures of algorithmic fairness are usually discussed in the context of binary decisions. We extend the approach to continuous scores. So far, ROC-based measures have mainly been suggested for this purpose. Other existing methods depend heavily on the distribution of scores, are unsuitable for ranking tasks, or their effect sizes are not interpretable. Here, we propose a distributionally invariant version of fairness measures for continuous scores with a reasonable interpretation based on the Wasserstein distance. Our measures are easily computable and well suited for quantifying and interpreting the strength of group disparities as well as for comparing biases across different models, datasets, or time points. We derive a link between the different families of existing fairness measures for scores and show that the proposed distributionally invariant fairness measures outperform ROC-based fairness measures because they are more explicit and can quantify significant biases that ROC-based fairness measures miss. Finally, we demonstrate their effectiveness through experiments on the most commonly used fairness benchmark datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google