Towards Symbolic XAI — Explanation Through Human Understandable Logical Relationships Between Features

要約

Explainable Artificial Intelligence (XAI) は、AI システムの透明性と信頼性を促進する上で重要な役割を果たします。従来の XAI アプローチでは、通常、単一または複数の入力特徴を強調表示するヒートマップの形式で、説明に 1 レベルの抽象化を提供します。
ただし、モデルの抽象的な推論や問題解決戦略も関連する可能性があるかどうかを尋ねます。これらは、人間が問題に対する解決策にアプローチする方法とより密接に一致するからです。
私たちは、入力特徴間の論理関係を表現するシンボリック クエリに関連性を帰属させる、Symbolic XAI と呼ばれるフレームワークを提案します。これにより、モデルの予測の背後にある抽象的な推論を把握できます。
この方法論は、モデル予測の単純かつ一般的な多次分解に基づいて構築されています。
この分解は、GNN-LRP などの高次の伝播ベースの関連性手法、または XAI で一般的に使用される摂動ベースの説明手法を使用して指定できます。
私たちのフレームワークの有効性は、抽象的な記号領域の知識が豊富でユーザーにとって非常に興味深い、自然言語処理 (NLP)、ビジョン、および量子化学 (QC) の領域で実証されています。
シンボリック XAI フレームワークは、ユーザーによる柔軟なカスタマイズと、論理式を通じて人間が判読できるモデルの意思決定プロセスの理解を提供します。

要約(オリジナル)

Explainable Artificial Intelligence (XAI) plays a crucial role in fostering transparency and trust in AI systems, where traditional XAI approaches typically offer one level of abstraction for explanations, often in the form of heatmaps highlighting single or multiple input features. However, we ask whether abstract reasoning or problem-solving strategies of a model may also be relevant, as these align more closely with how humans approach solutions to problems. We propose a framework, called Symbolic XAI, that attributes relevance to symbolic queries expressing logical relationships between input features, thereby capturing the abstract reasoning behind a model’s predictions. The methodology is built upon a simple yet general multi-order decomposition of model predictions. This decomposition can be specified using higher-order propagation-based relevance methods, such as GNN-LRP, or perturbation-based explanation methods commonly used in XAI. The effectiveness of our framework is demonstrated in the domains of natural language processing (NLP), vision, and quantum chemistry (QC), where abstract symbolic domain knowledge is abundant and of significant interest to users. The Symbolic XAI framework provides an understanding of the model’s decision-making process that is both flexible for customization by the user and human-readable through logical formulas.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google