Reliability Gaps Between Groups in COMPAS Dataset

要約

この論文では、リスク評価手段 (RAI) の評価者間信頼性を調査します。
主な問題は、異なる社会的に顕著なグループが、RAI の評価者間信頼性の欠如によって異なる影響を受けるかどうか、つまり、異なるグループに関する間違いが異なる影響を与えるかどうかです。
この疑問は COMPAS データセットのシミュレーション研究によって調査されます。
制御された程度のノイズが予測モデルの入力データに注入されます。
ノイズは、間違いを犯す合成評価者として解釈される可能性があります。
主な発見は、COMPAS データセット内のグループ間で出力の信頼性に体系的な差異があることです。
差の符号は、使用される評価者間統計の種類 (Cohen の Kappa、Byrt の PABAK、ICC)、特にグループの予測普及率の補正が使用されるかどうかによって異なります。

要約(オリジナル)

This paper investigates the inter-rater reliability of risk assessment instruments (RAIs). The main question is whether different, socially salient groups are affected differently by a lack of inter-rater reliability of RAIs, that is, whether mistakes with respect to different groups affects them differently. The question is investigated with a simulation study of the COMPAS dataset. A controlled degree of noise is injected into the input data of a predictive model; the noise can be interpreted as a synthetic rater that makes mistakes. The main finding is that there are systematic differences in output reliability between groups in the COMPAS dataset. The sign of the difference depends on the kind of inter-rater statistic that is used (Cohen’s Kappa, Byrt’s PABAK, ICC), and in particular whether or not a correction of predictions prevalences of the groups is used.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google