The Illusion of Competence: Evaluating the Effect of Explanations on Users’ Mental Models of Visual Question Answering Systems

要約

AI システムが完璧に実行できないタスクに遭遇したときに、ユーザーがその限界をどのように認識するか、また、答えとともに説明を提供することが、ユーザーがシステムの機能と限界についての適切なメンタル モデルを構築するのに役立つかどうかを調査します。
私たちは視覚的な質問の回答と説明のタスクを採用し、視覚的な入力を操作することで AI システムの制限を制御します。推論中、システムはフルカラーまたはグレースケールの画像を処理します。
私たちの目標は、参加者がシステムの限界を認識できるかどうかを判断することです。
私たちは、説明によって限定された AI 機能がユーザーにとってより透明になるのではないかと仮説を立てています。
しかし、私たちの結果は、説明にはこのような効果がないことを示しています。
一般に、説明によってユーザーが AI システムの限界をより正確に評価できるようにする代わりに、実際のパフォーマンスに関係なく、システムの能力に対するユーザーの認識が高まります。

要約(オリジナル)

We examine how users perceive the limitations of an AI system when it encounters a task that it cannot perform perfectly and whether providing explanations alongside its answers aids users in constructing an appropriate mental model of the system’s capabilities and limitations. We employ a visual question answer and explanation task where we control the AI system’s limitations by manipulating the visual inputs: during inference, the system either processes full-color or grayscale images. Our goal is to determine whether participants can perceive the limitations of the system. We hypothesize that explanations will make limited AI capabilities more transparent to users. However, our results show that explanations do not have this effect. Instead of allowing users to more accurately assess the limitations of the AI system, explanations generally increase users’ perceptions of the system’s competence – regardless of its actual performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google