Evaluation of Human-Understandability of Global Model Explanations using Decision Tree

要約

説明可能な人工知能 (XAI) の研究では、専門家や実践者向けのモデルの解釈に主に焦点が当てられてきました。
モデルに依存しないローカル説明アプローチは、多くのアプリケーションで解釈可能であり、十分であると考えられています。
しかし、ヘルスケアのような分野では、エンドユーザーが AI や専門分野の専門知識を持たない患者であるため、より理解しやすく、モデルの操作に対する信頼を与えるモデルの説明が緊急に必要とされています。
私たちは、物語性があり、患者固有であり、全体的（モデルの全体論的）なモデル説明を生成することで、より理解しやすくなり、意思決定が可能になると仮説を立てています。
私たちは、冠状動脈性心疾患のリスクが高いと特定された患者について、ローカルおよびグローバルの両方の説明を生成するために、デシジョン ツリー モデルを使用してこれをテストします。
これらの説明は、専門家以外のユーザー向けに提供されています。
特定の種類の説明に対する個人の強い好みがわかります。
参加者の大多数はグローバルな説明を好みますが、少数のグループはローカルな説明を好みます。
これらの参加者のメンタルモデルのタスクベースの評価は、物語全体の説明を強化するための貴重なフィードバックを提供します。
これは、信頼性と実用性の両方を備えた医療情報システムの設計の指針となります。

要約(オリジナル)

In explainable artificial intelligence (XAI) research, the predominant focus has been on interpreting models for experts and practitioners. Model agnostic and local explanation approaches are deemed interpretable and sufficient in many applications. However, in domains like healthcare, where end users are patients without AI or domain expertise, there is an urgent need for model explanations that are more comprehensible and instil trust in the model’s operations. We hypothesise that generating model explanations that are narrative, patient-specific and global(holistic of the model) would enable better understandability and enable decision-making. We test this using a decision tree model to generate both local and global explanations for patients identified as having a high risk of coronary heart disease. These explanations are presented to non-expert users. We find a strong individual preference for a specific type of explanation. The majority of participants prefer global explanations, while a smaller group prefers local explanations. A task based evaluation of mental models of these participants provide valuable feedback to enhance narrative global explanations. This, in turn, guides the design of health informatics systems that are both trustworthy and actionable.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google