The Impact of Explanations on Fairness in Human-AI Decision-Making: Protected vs Proxy Features

要約

AI システムは、実世界のデータのバイアスを増幅することが知られています。
説明は、人間と AI のチームがこれらのバイアスに対処し、より公正な意思決定を行うのに役立つ可能性があります。
通常、説明は顕著な入力機能に焦点を当てます。
モデルが何らかの保護されたグループに対してバイアスされている場合、説明にはこのバイアスを示す特徴が含まれる可能性がありますが、バイアスがプロキシ特徴を通じて実現される場合、このプロキシ特徴と保護されたグループとの関係は人間にとっては明確ではない可能性があります。
この研究では、保護された機能とプロキシ機能の存在が、モデルの公平性に対する参加者の認識と、AI 単独と比較して人口統計的同等性を向上させる能力に及ぼす影響を研究します。
さらに、説明、モデルバイアスの開示、代理相関の開示など、さまざまな処理が公平性の認識と同等性にどのように影響するかを検証します。
説明は、人々が直接的なバイアスを検出するのに役立ちますが、間接的なバイアスを検出するのには役立ちません。
さらに、バイアスの種類に関係なく、説明によりモデルのバイアスとの一致が高まる傾向があります。
開示は、この間接的なバイアスの影響を軽減するのに役立ち、不公平の認識と意思決定の公平性の両方を向上させることができます。
私たちの調査結果が、人間と AI の公正な意思決定をサポートする説明を進めるためのさらなる研究に役立つことを願っています。

要約(オリジナル)

AI systems have been known to amplify biases in real-world data. Explanations may help human-AI teams address these biases for fairer decision-making. Typically, explanations focus on salient input features. If a model is biased against some protected group, explanations may include features that demonstrate this bias, but when biases are realized through proxy features, the relationship between this proxy feature and the protected one may be less clear to a human. In this work, we study the effect of the presence of protected and proxy features on participants’ perception of model fairness and their ability to improve demographic parity over an AI alone. Further, we examine how different treatments — explanations, model bias disclosure and proxy correlation disclosure — affect fairness perception and parity. We find that explanations help people detect direct but not indirect biases. Additionally, regardless of bias type, explanations tend to increase agreement with model biases. Disclosures can help mitigate this effect for indirect biases, improving both unfairness recognition and decision-making fairness. We hope that our findings can help guide further research into advancing explanations in support of fair human-AI decision-making.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google