Advancing Interactive Explainable AI via Belief Change Theory

要約

AI モデルがますます複雑になり、人間の日常生活に絡み合うにつれて、Explainable AI (XAI) 手法のより高いレベルの対話性が必要になります。
この論文では、データ駆動型分類器の論理表現への新しい情報、つまり対話型 XAI におけるユーザー フィードバックの組み込みをモデル化する演算子の正式な基盤として、信念変化理論を使用することを提案します。
私たちは、このタイプの形式化は、原則に基づいた方法で対話型の説明を開発するためのフレームワークと方法論を提供し、保証された行動を提供し、そのような対話の透明性と説明責任を促進すると主張します。
具体的には、まず人間と機械の間で共有される説明情報を表現するための、新しい論理ベースの形式主義を定義します。
次に、新しい知識と既存の知識の異なる優先順位を使用して、形式主義がインスタンス化される可能性がある、インタラクティブ XAI の実世界のシナリオを検討します。
最後に、信念変化仮説の中核セットを分析し、現実世界の設定に対するそれらの適合性を議論し、既存の演算子の基礎となる理論的仮定の一部の緩和または再解釈を必要とする可能性がある特定の課題を指摘します。

要約(オリジナル)

As AI models become ever more complex and intertwined in humans’ daily lives, greater levels of interactivity of explainable AI (XAI) methods are needed. In this paper, we propose the use of belief change theory as a formal foundation for operators that model the incorporation of new information, i.e. user feedback in interactive XAI, to logical representations of data-driven classifiers. We argue that this type of formalisation provides a framework and a methodology to develop interactive explanations in a principled manner, providing warranted behaviour and favouring transparency and accountability of such interactions. Concretely, we first define a novel, logic-based formalism to represent explanatory information shared between humans and machines. We then consider real world scenarios for interactive XAI, with different prioritisations of new and existing knowledge, where our formalism may be instantiated. Finally, we analyse a core set of belief change postulates, discussing their suitability for our real world settings and pointing to particular challenges that may require the relaxation or reinterpretation of some of the theoretical assumptions underlying existing operators.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google