Explanations, Fairness, and Appropriate Reliance in Human-AI Decision-Making

要約

本研究では、AIが支援する意思決定の分配的公正さに対する特徴ベースの説明の効果を、特に短いテキストの経歴から職業を予測するタスクに焦点を当てて研究する。また、どのような効果が人間の公正知覚とAI推薦への依存によって媒介されるかを調査する。その結果、説明が公正さの認知に影響し、それが人間のAI推奨への依存傾向に関係することがわかった。しかし、このような説明によって、人間がAIによる推奨の正誤を識別できるようになるわけではないことがわかる。それどころか、AIによる推奨の正否に関わらず、信頼に影響を与える可能性があることを示す。説明がどの特徴を強調するかによって、これは分配的公平性を助長したり妨げたりする。説明がタスクに無関係で、明らかに敏感な属性に関連する特徴を強調する場合、これはジェンダー・ステレオタイプに沿ったAI推薦に対抗する上書きすることを促す。一方、説明がタスクに関連しているように見える場合、これはステレオタイプに沿ったエラーを強化する依存行動を誘発する。これらの結果は、特徴に基づく説明は、分配的公平性を改善するための信頼できるメカニズムではないことを示唆している。

要約(オリジナル)

In this work, we study the effects of feature-based explanations on distributive fairness of AI-assisted decisions, specifically focusing on the task of predicting occupations from short textual bios. We also investigate how any effects are mediated by humans’ fairness perceptions and their reliance on AI recommendations. Our findings show that explanations influence fairness perceptions, which, in turn, relate to humans’ tendency to adhere to AI recommendations. However, we see that such explanations do not enable humans to discern correct and incorrect AI recommendations. Instead, we show that they may affect reliance irrespective of the correctness of AI recommendations. Depending on which features an explanation highlights, this can foster or hinder distributive fairness: when explanations highlight features that are task-irrelevant and evidently associated with the sensitive attribute, this prompts overrides that counter AI recommendations that align with gender stereotypes. Meanwhile, if explanations appear task-relevant, this induces reliance behavior that reinforces stereotype-aligned errors. These results imply that feature-based explanations are not a reliable mechanism to improve distributive fairness.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL