Impact Of Explainable AI On Cognitive Load: Insights From An Empirical Study

要約

【タイトル】説明可能なAIの認知負荷への影響：実証研究から得られた洞察
【要約】
・説明可能な人工知能（XAI）の新興分野は、高性能な機械学習モデルにおける説明不足に対処すると主張しているが、実際にはXAIは開発者を対象にしており、実際のエンドユーザーには向いていないことが多い。
・同様に、XAIの説明を使用するエンドユーザーの行動に関する横断的な研究は限られており、説明が認知負荷に及ぼす影響とエンドユーザーのパフォーマンスにどのように影響するかが不明である。
・そこで、COVID-19のユースケースを用いて271人の見込み医師を対象に、異なる実装に依存しないXAIの説明タイプに対する認知負荷、タスクパフォーマンス、タスク時間を測定する実証研究を行った。
・これらの説明タイプがエンドユーザーの認知負荷、タスクパフォーマンス、タスク時間に強く影響することがわかった。
・さらに、ローカルなXAIの説明タイプが最も良いという精神的効率指標をコンテキストに置き、将来の応用に対する提言と社会技術的XAI研究の示唆を提供した。

要約(オリジナル)

While the emerging research field of explainable artificial intelligence (XAI) claims to address the lack of explainability in high-performance machine learning models, in practice, XAI targets developers rather than actual end-users. Unsurprisingly, end-users are often unwilling to use XAI-based decision support systems. Similarly, there is limited interdisciplinary research on end-users’ behavior during XAI explanations usage, rendering it unknown how explanations may impact cognitive load and further affect end-user performance. Therefore, we conducted an empirical study with 271 prospective physicians, measuring their cognitive load, task performance, and task time for distinct implementation-independent XAI explanation types using a COVID-19 use case. We found that these explanation types strongly influence end-users’ cognitive load, task performance, and task time. Further, we contextualized a mental efficiency metric, ranking local XAI explanation types best, to provide recommendations for future applications and implications for sociotechnical XAI research.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI