The Impact of Imperfect XAI on Human-AI Decision-Making

要約

さまざまな共同作業環境における人間と AI の意思決定を改善するための説明可能性テクニックが急速に開発されています。
したがって、これまでの研究では、より人間中心のコンピュータ支援型共同作業ツールを設計することを目的として、適切な依存性とタスクのパフォーマンスを調査することで、意思決定者が不完全な AI とどのように共同作業するかを評価していました。
意思決定者の AI とのコラボレーションを改善することを期待して、人間中心の説明可能な AI (XAI) 技術がいくつか提案されています。
ただし、これらの手法は、主に誤った AI アドバイスの影響に焦点を当てた以前の研究の結果に基づいています。
AI のアドバイスが正しいとしても、説明が間違っている可能性を認めている研究はほとんどありません。
したがって、不完全な XAI が人間と AI の意思決定にどのような影響を与えるかを理解することが重要です。
この研究では、136 人の参加者による堅牢な混合方法のユーザー研究に貢献し、専門知識のレベルと説明の主張のレベルを考慮して、鳥の種の識別タスクにおいて不正確な説明が人間の意思決定行動にどのような影響を与えるかを評価します。
私たちの調査結果は、不完全な XAI と人間の専門知識レベルが AI への依存および人間と AI のチームのパフォーマンスに影響を与えることを明らかにしました。
また、人間と AI のコラボレーション中に説明がどのように意思決定者を欺く可能性があるかについても説明します。
したがって、私たちはコンピュータ支援の共同作業の分野における不完全な XAI の影響に光を当て、人間と AI のコラボレーション システムの設計者にガイドラインを提供します。

要約(オリジナル)

Explainability techniques are rapidly being developed to improve human-AI decision-making across various cooperative work settings. Consequently, previous research has evaluated how decision-makers collaborate with imperfect AI by investigating appropriate reliance and task performance with the aim of designing more human-centered computer-supported collaborative tools. Several human-centered explainable AI (XAI) techniques have been proposed in hopes of improving decision-makers’ collaboration with AI; however, these techniques are grounded in findings from previous studies that primarily focus on the impact of incorrect AI advice. Few studies acknowledge the possibility for the explanations to be incorrect even if the AI advice is correct. Thus, it is crucial to understand how imperfect XAI affects human-AI decision-making. In this work, we contribute a robust, mixed-methods user study with 136 participants to evaluate how incorrect explanations influence humans’ decision-making behavior in a bird species identification task taking into account their level of expertise and an explanation’s level of assertiveness. Our findings reveal the influence of imperfect XAI and humans’ level of expertise on their reliance on AI and human-AI team performance. We also discuss how explanations can deceive decision-makers during human-AI collaboration. Hence, we shed light on the impacts of imperfect XAI in the field of computer-supported cooperative work and provide guidelines for designers of human-AI collaboration systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google