Understanding the Effect of Counterfactual Explanations on Trust and Reliance on AI for Human-AI Collaborative Clinical Decision Making

要約

人工知能 (AI) は、リスクの高い分野 (健康など) における人間の意思決定を支援するものとして検討されることが増えています。
しかし、研究者らは、人間がAIの補完的なパフォーマンスを達成する代わりに、AIモデルの誤った提案に過度に依存する可能性があるという問題について議論しています。
この研究では、人間が AI への過度の依存を減らすために AI の提案をより分析的に検討できるように、顕著な特徴の説明と、もしもの反事実の説明を利用し、臨床上の意思決定における AI への信頼と依存に対するこれらの説明の影響を調査しました。
私たちは、脳卒中後の生存者の動作の質を評価するというタスクについて、セラピスト 7 名と一般人 10 名を対象に実験を実施し、2 種類の AI 説明の有無にかかわらず、彼らのパフォーマンス、タスクへの同意レベル、AI への依存度を分析しました。
私たちの結果は、顕著な特徴と反事実的な説明の両方を備えた AI モデルが、「正しい」 AI 出力が提示された場合に、セラピストと一般人がタスクのパフォーマンスと同意レベルを向上させるのに役立つことを示しました。
セラピストと一般人はどちらも「間違った」AI 出力に過度に依存していましたが、反事実的な説明は、顕著な特徴の説明と比較して、セラピストと一般人両方の「間違った」 AI 出力への過度の依存を 21\% 減らすのに役立ちました。
具体的には、一般人は、それぞれ8.6のf1スコアと2.8のf1スコアのパフォーマンス低下を示したセラピストよりも、顕著な特徴の説明で18.0のf1スコア、反事実の説明で14.0のf1スコアでパフォーマンスの低下が大きかった。
私たちの研究では、AI モデルの精度をより適切に推定し、「間違った」 AI 出力への過度の依存を減らし、人間と AI の協調的な意思決定を改善するための影響を軽減するための、反事実的な説明の可能性について議論しています。

要約(オリジナル)

Artificial intelligence (AI) is increasingly being considered to assist human decision-making in high-stake domains (e.g. health). However, researchers have discussed an issue that humans can over-rely on wrong suggestions of the AI model instead of achieving human AI complementary performance. In this work, we utilized salient feature explanations along with what-if, counterfactual explanations to make humans review AI suggestions more analytically to reduce overreliance on AI and explored the effect of these explanations on trust and reliance on AI during clinical decision-making. We conducted an experiment with seven therapists and ten laypersons on the task of assessing post-stroke survivors’ quality of motion, and analyzed their performance, agreement level on the task, and reliance on AI without and with two types of AI explanations. Our results showed that the AI model with both salient features and counterfactual explanations assisted therapists and laypersons to improve their performance and agreement level on the task when `right’ AI outputs are presented. While both therapists and laypersons over-relied on `wrong’ AI outputs, counterfactual explanations assisted both therapists and laypersons to reduce their over-reliance on `wrong’ AI outputs by 21\% compared to salient feature explanations. Specifically, laypersons had higher performance degrades by 18.0 f1-score with salient feature explanations and 14.0 f1-score with counterfactual explanations than therapists with performance degrades of 8.6 and 2.8 f1-scores respectively. Our work discusses the potential of counterfactual explanations to better estimate the accuracy of an AI model and reduce over-reliance on `wrong’ AI outputs and implications for improving human-AI collaborative decision-making.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google