Exploring the Effect of Explanation Content and Format on User Comprehension and Trust in Healthcare

要約

ヘルスケア用のAI駆動型ツールは、医療従事者や患者にとって潜在的に有益であると広く認められています。
がんリスク予測のためのQCANCER回帰ツール。
ただし、これらのツールを信頼するためには、説明が補足する必要があります。
QCancerの予測を説明する際に、説明のコンテンツとフォーマットがユーザーの理解と信頼にどのように影響するかを調べます。
コンテンツに関しては、ShapとOcclusion-1を展開します。
形式に関しては、従来、チャート（SC）およびオクルージョン-1の説明として、チャート（OC）、およびテキスト（OT）としてのSHAP説明を提示します。
私たちは、2セットの利害関係者を使用して実験を実施します。一般大衆（患者を代表する）と医学生（医療従事者を代表する）。
私たちの実験では、コンテンツに基づいたSHAP説明よりも、より高い主観的理解と閉塞1に対する信頼が示されました。
ただし、フォーマットを制御する場合、SCを上回ったOTのみが、この傾向がテキストの好みによって促進されることを示唆しています。
他の調査結果は、コンテンツではなく説明形式が多くの場合、重要な要因であると裏付けました。

要約(オリジナル)

AI-driven tools for healthcare are widely acknowledged as potentially beneficial to health practitioners and patients, e.g. the QCancer regression tool for cancer risk prediction. However, for these tools to be trusted, they need to be supplemented with explanations. We examine how explanations’ content and format affect user comprehension and trust when explaining QCancer’s predictions. Regarding content, we deploy SHAP and Occlusion-1. Regarding format, we present SHAP explanations, conventionally, as charts (SC) and Occlusion-1 explanations as charts (OC) as well as text (OT), to which their simpler nature lends itself. We conduct experiments with two sets of stakeholders: the general public (representing patients) and medical students (representing healthcare practitioners). Our experiments showed higher subjective comprehension and trust for Occlusion-1 over SHAP explanations based on content. However, when controlling for format, only OT outperformed SC, suggesting this trend is driven by preferences for text. Other findings corroborated that explanation format, rather than content, is often the critical factor.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google