A Theoretical Framework for AI Models Explainability

要約

説明可能な人工知能 (XAI) は、人工知能コミュニティにおける活発な研究トピックであり、方法やドメイン全体で関心が高まっています。
このテーマについては多くのことが書かれていますが、XAI にはまだ共通の用語や、説明に構造的な健全性を提供できるフレームワークが欠けています。
私たちの仕事では、文献に見られるものの統合である説明の新しい定義を提案することにより、これらの問題に対処します。
説明はアトミックではなく、モデルとその入出力マッピングに由来する証拠の組み合わせ、およびこの証拠の人間による解釈であることを認識しています。
さらに、説明を忠実度 (つまり、説明がモデルの内部動作と意思決定プロセスの真の説明であること) と妥当性 (つまり、説明がユーザーにとってどれだけ説得力があるように見えるか) の特性に当てはめます。
提案された理論的フレームワークを使用すると、これらのプロパティを操作する方法が簡素化され、ケーススタディとして分析する一般的な説明方法に新しい洞察が得られます。

要約(オリジナル)

EXplainable Artificial Intelligence (XAI) is a vibrant research topic in the artificial intelligence community, with growing interest across methods and domains. Much has been written about the subject, yet XAI still lacks shared terminology and a framework capable of providing structural soundness to explanations. In our work, we address these issues by proposing a novel definition of explanation that is a synthesis of what can be found in the literature. We recognize that explanations are not atomic but the combination of evidence stemming from the model and its input-output mapping, and the human interpretation of this evidence. Furthermore, we fit explanations into the properties of faithfulness (i.e., the explanation being a true description of the model’s inner workings and decision-making process) and plausibility (i.e., how much the explanation looks convincing to the user). Using our proposed theoretical framework simplifies how these properties are operationalized and it provides new insight into common explanation methods that we analyze as case studies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google