Massive Activations in Graph Neural Networks: Decoding Attention for Domain-Dependent Interpretability

要約

グラフニューラルネットワーク（GNNS）は、グラフ構造化データの効果的なモデリングでますます一般的になっており、これらのモデルが複雑なパターンをキャプチャできるようにするための注意メカニズムは極めて重要です。
私たちの研究では、エッジフィーチャーされたGNNSに注意を統合することの重要でありながら未使用の結果を明らかにします。注意層内の大規模な活性化（MAS）の出現です。
Edge機能でMASを検出するための新しい方法を開発することにより、これらの極端な活性化は活性化の異常であるだけでなく、ドメイン関連信号をエンコードすることを示します。
私たちの事後解釈可能性分析は、分子グラフでは、主に一般的な結合タイプ（例：単一および二重結合）に集約されながら、より有益なもの（トリプルボンドなど）を節約することを示しています。
さらに、私たちのアブレーション研究は、MASが自然な帰属指標として機能し、あまり有益でないエッジに再配置できることを確認しています。
我々の研究では、亜鉛、Tox21、タンパク質などのベンチマークデータセットを使用して、さまざまなエッジフィーチングの注意ベースのGNNモデルを評価します。
重要な貢献には、（1）エッジフィーチャーされたGNNSにおける注意メカニズムとMAS生成との直接的なリンクの確立、（2）信頼できる事後解釈可能性を可能にするMAの堅牢な定義と検出方法の開発が含まれます。
全体として、私たちの研究では、注意メカニズム、エッジ機能GNNSモデル、およびMASの出現との複雑な相互作用が明らかになり、GNNSの内部をドメインの知識に関連付けるための重要な洞察を提供します。

要約(オリジナル)

Graph Neural Networks (GNNs) have become increasingly popular for effectively modeling graph-structured data, and attention mechanisms have been pivotal in enabling these models to capture complex patterns. In our study, we reveal a critical yet underexplored consequence of integrating attention into edge-featured GNNs: the emergence of Massive Activations (MAs) within attention layers. By developing a novel method for detecting MAs on edge features, we show that these extreme activations are not only activation anomalies but encode domain-relevant signals. Our post-hoc interpretability analysis demonstrates that, in molecular graphs, MAs aggregate predominantly on common bond types (e.g., single and double bonds) while sparing more informative ones (e.g., triple bonds). Furthermore, our ablation studies confirm that MAs can serve as natural attribution indicators, reallocating to less informative edges. Our study assesses various edge-featured attention-based GNN models using benchmark datasets, including ZINC, TOX21, and PROTEINS. Key contributions include (1) establishing the direct link between attention mechanisms and MAs generation in edge-featured GNNs, (2) developing a robust definition and detection method for MAs enabling reliable post-hoc interpretability. Overall, our study reveals the complex interplay between attention mechanisms, edge-featured GNNs model, and MAs emergence, providing crucial insights for relating GNNs internals to domain knowledge.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google