Don’t be Fooled: The Misinformation Effect of Explanations in Human-AI Collaboration

要約

さまざまなアプリケーションにおいて、人間は、システムの推論を理解することなく、ブラックボックスの人工知能 (AI) システムを使用することが増えています。
この不透明さに対抗するために、Explainable AI (XAI) 手法は透明性と解釈可能性の向上を約束します。
最近の研究では、XAI が人間と AI のコラボレーションにどのような影響を与えるかを調査していますが、誤った説明によって引き起こされる潜在的な落とし穴について調査した研究はほとんどありません。
人間への影響は広範囲に及ぶ可能性がありますが、詳しくは調査されていません。
これを調査するために、人間が XAI によってサポートされる、AI 支援の意思決定に関する研究 (n=160) を実行しました。
私たちの調査結果は、誤った説明がコラボレーション後に影響を与える正しい AI アドバイスを伴う場合に、誤った情報の影響があることを明らかにしました。
この影響により、人間は欠陥のある推論戦略を推測し、タスクの実行が妨げられ、手順知識が損なわれていることを示します。
さらに、誤った説明は、コラボレーション中の人間と AI のチームのパフォーマンスを損ないます。
私たちは、コラボレーション後の人間に対する誤った説明による悪影響についての経験的証拠を提供し、AI 設計者向けのガイドラインを概説することで、HCI に貢献しています。

要約(オリジナル)

Across various applications, humans increasingly use black-box artificial intelligence (AI) systems without insight into these systems’ reasoning. To counter this opacity, explainable AI (XAI) methods promise enhanced transparency and interpretability. While recent studies have explored how XAI affects human-AI collaboration, few have examined the potential pitfalls caused by incorrect explanations. The implications for humans can be far-reaching but have not been explored extensively. To investigate this, we ran a study (n=160) on AI-assisted decision-making in which humans were supported by XAI. Our findings reveal a misinformation effect when incorrect explanations accompany correct AI advice with implications post-collaboration. This effect causes humans to infer flawed reasoning strategies, hindering task execution and demonstrating impaired procedural knowledge. Additionally, incorrect explanations compromise human-AI team-performance during collaboration. With our work, we contribute to HCI by providing empirical evidence for the negative consequences of incorrect explanations on humans post-collaboration and outlining guidelines for designers of AI.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google