Faithful Interpretation for Graph Neural Networks

要約

現在、グラフ アテンション ネットワーク (GAT) やグラフ トランスフォーマー (GT) などのグラフ ニューラル ネットワーク (GNN) におけるアテンション メカニズムがますます注目を集めています。
それは、それらが提供するパフォーマンスの賞賛に値する向上だけでなく、不可解だと思われがちなモデルの動作に対してより明確な理論的根拠を提供する能力によるものでもあります。
ただし、アテンションベースの GNN は、トレーニング段階とテスト段階の両方で、追加のエッジやノードなどの要因を含むさまざまな摂動源にさらされると、解釈可能性が不安定になることが実証されています。
この論文では、Faithful Graph Attendance-based Interpretation (FGAI) と呼ばれる新しい概念を導入することで、この問題の解決策を提案します。
特に、FGAI には、安定性と解釈と最終出力分布に対する感度に関して 4 つの重要な特性があります。
この概念に基づいて、FGAI を取得するための効率的な方法論を提案します。これは、正規のアテンションベースの GNN に対するアドホックな修正とみなすことができます。
提案したソリューションを検証するために、グラフ解釈の評価に合わせて調整された 2 つの新しい指標を導入します。
実験結果は、FGAI が優れた安定性を示し、さまざまな形の摂動やランダム性の下でも注意の解釈可能性を維持することを示しており、これにより FGAI はより忠実で信頼できる説明ツールになります。

要約(オリジナル)

Currently, attention mechanisms have garnered increasing attention in Graph Neural Networks (GNNs), such as Graph Attention Networks (GATs) and Graph Transformers (GTs). It is not only due to the commendable boost in performance they offer but also its capacity to provide a more lucid rationale for model behaviors, which are often viewed as inscrutable. However, Attention-based GNNs have demonstrated instability in interpretability when subjected to various sources of perturbations during both training and testing phases, including factors like additional edges or nodes. In this paper, we propose a solution to this problem by introducing a novel notion called Faithful Graph Attention-based Interpretation (FGAI). In particular, FGAI has four crucial properties regarding stability and sensitivity to interpretation and final output distribution. Built upon this notion, we propose an efficient methodology for obtaining FGAI, which can be viewed as an ad hoc modification to the canonical Attention-based GNNs. To validate our proposed solution, we introduce two novel metrics tailored for graph interpretation assessment. Experimental results demonstrate that FGAI exhibits superior stability and preserves the interpretability of attention under various forms of perturbations and randomness, which makes FGAI a more faithful and reliable explanation tool.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google