Distill n’ Explain: explaining graph neural networks using simple surrogates

要約

グラフ ニューラル ネットワーク (GNN) でノード予測を説明することは、多くの場合、予測を保存するグラフの部分構造を見つけることに要約されます。
これらの構造を見つけることは、通常、GNN を介して逆伝播することを意味し、GNN の複雑さ (層数など) をそれを説明するコストに結びつけます。
これは当然のことながら、より単純なサロゲート GNN を説明することで、この絆を断ち切ることができるだろうかという疑問を引き起こします。
この質問に答えるために、私たちは Distill n’ Explain (DnX) を提案します。
まず、DnX は知識の蒸留によってサロゲート GNN を学習します。
次に、DnX は単純な凸プログラムを解くことにより、ノードまたはエッジ レベルの説明を抽出します。
また、サロゲート モデルの線形分解を活用した DnX の高速バージョンである FastDnX も提案します。
実験によると、DnX と FastDnX は、桁違いに高速でありながら、最先端の GNN エクスプローラーよりも優れたパフォーマンスを発揮することがよくあります。
さらに、代理モデルの品質 (つまり、蒸留誤差) を説明の忠実さに結び付ける理論的結果によって、経験的発見を裏付けます。

要約(オリジナル)

Explaining node predictions in graph neural networks (GNNs) often boils down to finding graph substructures that preserve predictions. Finding these structures usually implies back-propagating through the GNN, bonding the complexity (e.g., number of layers) of the GNN to the cost of explaining it. This naturally begs the question: Can we break this bond by explaining a simpler surrogate GNN? To answer the question, we propose Distill n’ Explain (DnX). First, DnX learns a surrogate GNN via knowledge distillation. Then, DnX extracts node or edge-level explanations by solving a simple convex program. We also propose FastDnX, a faster version of DnX that leverages the linear decomposition of our surrogate model. Experiments show that DnX and FastDnX often outperform state-of-the-art GNN explainers while being orders of magnitude faster. Additionally, we support our empirical findings with theoretical results linking the quality of the surrogate model (i.e., distillation error) to the faithfulness of explanations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google