Stability and Multigroup Fairness in Ranking with Uncertain Predictions

要約

ランキングは、検索エンジンから採用委員会に至るまで、多くのアプリケーションにわたって遍在しています。
実際には、多くのランキングは予測子の出力から導出されます。
ただし、分類タスク用にトレーニングされた予測子に本質的な不確実性がある場合、この不確実性が導出されたランキングでどのように表現されるべきかは明らかではありません。
私たちの研究では、ランキング関数を考慮しています。つまり、分類タスクの個々の予測をランキング上の分布にマッピングします。
私たちは、ランキング関数の 2 つの側面、つまり予測の変動に対する安定性と、個人とサブグループの両方に対する公平性に焦点を当てます。
安定性はそれ自体が重要な要件であるだけでなく、私たちが示すように、Dwork らの意味での個人の公平性と調和して構成されます。
（2012年）。
決定論的ランキング関数は自明なシナリオを除けば安定することはできませんが、Singh らが最近提案した不確実性認識 (UA) ランキング関数は安定していることを示します。
(2021) は安定しています。
私たちの主な結果は、UA ランキングも、複数の正確な予測子または複数の校正済みの予測子を使用して合成を成功させることで、複数グループの公平性を達成できることです。
私たちの研究は、UA ランキングがグループ レベルと個人レベルの公平性保証の間で自然に補間されると同時に、機械学習された予測が使用される場合には常に重要な安定性保証を満たすことを示しています。

要約(オリジナル)

Rankings are ubiquitous across many applications, from search engines to hiring committees. In practice, many rankings are derived from the output of predictors. However, when predictors trained for classification tasks have intrinsic uncertainty, it is not obvious how this uncertainty should be represented in the derived rankings. Our work considers ranking functions: maps from individual predictions for a classification task to distributions over rankings. We focus on two aspects of ranking functions: stability to perturbations in predictions and fairness towards both individuals and subgroups. Not only is stability an important requirement for its own sake, but — as we show — it composes harmoniously with individual fairness in the sense of Dwork et al. (2012). While deterministic ranking functions cannot be stable aside from trivial scenarios, we show that the recently proposed uncertainty aware (UA) ranking functions of Singh et al. (2021) are stable. Our main result is that UA rankings also achieve multigroup fairness through successful composition with multiaccurate or multicalibrated predictors. Our work demonstrates that UA rankings naturally interpolate between group and individual level fairness guarantees, while simultaneously satisfying stability guarantees important whenever machine-learned predictions are used.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google