Exploring the Effect of Explanation Content and Format on User Comprehension and Trust

要約

近年、「ブラックボックス」AI モデルの出力を説明するためにさまざまな方法が導入されています。
しかし、ユーザーがこれらの説明を実際に理解し、信頼しているかどうかはよくわかっていません。
この論文では、がんリスクを評価するための回帰ツールの説明に焦点を当て、説明の内容と形式が理解度と信頼というユーザー中心の指標に及ぼす影響を検証します。
コンテンツに関しては、2 つの説明方法を試しています。1 つはゲーム理論の概念に基づいているため、一般的なユーザーが理解するには複雑になる可能性がある人気の SHAP で、もう 1 つは、より理解しやすい機能オクルージョンに基づくオクルージョン 1 です。
形式に関しては、SHAP の説明は従来どおりチャート (SC) として表示し、オクルージョン 1 の説明はチャート (OC) およびテキスト (OT) として表示します。これは、そのシンプルな性質にも適しています。
この実験は、回帰ツールの出力の説明に対する主観的および客観的な理解と信頼について、2 つの異なる専門知識レベル (一般人口とある程度の医療訓練を受けた人々) を持つ参加者に質問するユーザー調査に相当します。
どちらの研究でも、内容に基づいて比較した場合、主観的な理解と信頼の点で、SHAP の説明よりもオクルージョン 1 の方が明らかに優先されることがわかりました。
しかし、形式を制御した場合の説明の直接比較では、ほとんどの場合、SC 説明よりも OT の証拠が明らかになっただけであり、SHAP 説明に対するオクルージョン 1 の優位性は、説明としてチャートよりテキストを好むことによって引き起こされている可能性があることを示唆しています。
最後に、客観的な理解という点で、説明タイプ間に違いがあるという証拠は見つかりませんでした。
したがって、全体として、説明のコンテンツと形式の選択には細心の注意が必要です。状況によっては、コンテンツではなく形式がユーザー エクスペリエンスを向上させる上で重要な役割を果たす可能性があるためです。

要約(オリジナル)

In recent years, various methods have been introduced for explaining the outputs of ‘black-box’ AI models. However, it is not well understood whether users actually comprehend and trust these explanations. In this paper, we focus on explanations for a regression tool for assessing cancer risk and examine the effect of the explanations’ content and format on the user-centric metrics of comprehension and trust. Regarding content, we experiment with two explanation methods: the popular SHAP, based on game-theoretic notions and thus potentially complex for everyday users to comprehend, and occlusion-1, based on feature occlusion which may be more comprehensible. Regarding format, we present SHAP explanations as charts (SC), as is conventional, and occlusion-1 explanations as charts (OC) as well as text (OT), to which their simpler nature also lends itself. The experiments amount to user studies questioning participants, with two different levels of expertise (the general population and those with some medical training), on their subjective and objective comprehension of and trust in explanations for the outputs of the regression tool. In both studies we found a clear preference in terms of subjective comprehension and trust for occlusion-1 over SHAP explanations in general, when comparing based on content. However, direct comparisons of explanations when controlling for format only revealed evidence for OT over SC explanations in most cases, suggesting that the dominance of occlusion-1 over SHAP explanations may be driven by a preference for text over charts as explanations. Finally, we found no evidence of a difference between the explanation types in terms of objective comprehension. Thus overall, the choice of the content and format of explanations needs careful attention, since in some contexts format, rather than content, may play the critical role in improving user experience.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google