A Theoretical Framework for AI Models Explainability

要約

説明可能な人工知能（XAI）は、人工知能コミュニティにおける活発な研究トピックであり、手法や領域を超えて関心が高まっている。しかし、XAIにはまだ用語の共有や説明の構造的妥当性を示すフレームワークがない。本研究では、説明の新しい定義を提案することにより、これらの問題に対処する。我々は、説明は原子ではなく、モデルとその入出力マッピングに由来する証拠と、この証拠の人間の解釈の組み合わせであると認識している。さらに、説明の忠実度（説明文がモデルの内部構造や意思決定過程を忠実に記述していること）と妥当性（説明文がユーザにとってどれだけ説得力があるか）の特性に説明を当てはめる。提案する理論的枠組みを用いることで、これらの特性の運用方法を単純化し、ケーススタディとして分析した一般的な説明方法に対する新しい洞察を得ることができる。

要約(オリジナル)

EXplainable Artificial Intelligence (XAI) is a vibrant research topic in the artificial intelligence community, with growing interest across methods and domains. Much has been written about the subject, yet XAI still lacks shared terminology and a framework capable of providing structural soundness to explanations. In our work, we address these issues by proposing a novel definition of explanation that is a synthesis of what can be found in the literature. We recognize that explanations are not atomic but the combination of evidence stemming from the model and its input-output mapping, and the human interpretation of this evidence. Furthermore, we fit explanations into the properties of faithfulness (i.e., the explanation being a true description of the model’s inner workings and decision-making process) and plausibility (i.e., how much the explanation looks convincing to the user). Using our proposed theoretical framework simplifies how these properties are operationalized and it provides new insight into common explanation methods that we analyze as case studies.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL