Distill n’ Explain: explaining graph neural networks using simple surrogates

要約

グラフ ニューラル ネットワーク (GNN) のノード予測を説明すると、多くの場合、予測を保持するグラフのサブ構造を見つけることになります。
これらの構造を見つけることは、通常、GNN の逆伝播を意味し、GNN の複雑さ (層の数など) をそれを説明するコストに結び付けます。
これは自然に疑問を投げかけます: より単純なサロゲート GNN を説明することで、この絆を断ち切ることができるでしょうか?
この質問に答えるために、私たちは Distill n’ Explain (DnX) を提案します。
まず、DnX は知識の蒸留によって代理 GNN を学習します。
次に、DnX は単純な凸プログラムを解くことにより、ノードまたはエッジ レベルの説明を抽出します。
また、サロゲート モデルの線形分解を利用する DnX の高速バージョンである FastDnX も提案します。
実験によると、DnX と FastDnX は、桁違いに高速でありながら、最先端の GNN Explainer よりも優れていることがよくあります。
さらに、サロゲート モデルの品質 (つまり、蒸留誤差) を説明の忠実度に関連付ける理論的結果で、経験的な調査結果をサポートします。

要約(オリジナル)

Explaining node predictions in graph neural networks (GNNs) often boils down to finding graph substructures that preserve predictions. Finding these structures usually implies back-propagating through the GNN, bonding the complexity (e.g., number of layers) of the GNN to the cost of explaining it. This naturally begs the question: Can we break this bond by explaining a simpler surrogate GNN? To answer the question, we propose Distill n’ Explain (DnX). First, DnX learns a surrogate GNN via knowledge distillation. Then, DnX extracts node or edge-level explanations by solving a simple convex program. We also propose FastDnX, a faster version of DnX that leverages the linear decomposition of our surrogate model. Experiments show that DnX and FastDnX often outperform state-of-the-art GNN explainers while being orders of magnitude faster. Additionally, we support our empirical findings with theoretical results linking the quality of the surrogate model (i.e., distillation error) to the faithfulness of explanations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google