Causal-Based Supervision of Attention in Graph Neural Network: A Better and Simpler Choice towards Powerful Attention

要約

近年、グラフ表現学習における注意メカニズムの大きな可能性が目の当たりにされています。
ただし、注意ベースの GNN の変種は、数多くの実世界のデータセットに新しいベンチマークを設定していますが、最近の研究では、直接監視がないため、誘導された注意は堅牢性が低く、ノイズの多いグラフに対して一般化可能ではないことが指摘されています。
この論文では、因果関係のツールを利用して、注意機能の学習プロセスに強力な監視信号を提供する新しいフレームワークを紹介します。
具体的には、最終的な予測に対する注意の直接的な因果効果を推定し、その効果を最大化して、より意味のある近傍に注意を向けるように誘導します。
私たちの方法は、エンドツーエンド方式で標準的なアテンションベースの GNN のプラグ アンド プレイ モジュールとして機能します。
広範囲のベンチマーク データセットに対する広範な実験により、アテンション関数を直接監視することにより、モデルがより明確な決定境界でより速く収束できるため、より優れたパフォーマンスが得られることが示されました。

要約(オリジナル)

Recent years have witnessed the great potential of attention mechanism in graph representation learning. However, while variants of attention-based GNNs are setting new benchmarks for numerous real-world datasets, recent works have pointed out that their induced attentions are less robust and generalizable against noisy graphs due to lack of direct supervision. In this paper, we present a new framework which utilizes the tool of causality to provide a powerful supervision signal for the learning process of attention functions. Specifically, we estimate the direct causal effect of attention to the final prediction, and then maximize such effect to guide attention attending to more meaningful neighbors. Our method can serve as a plug-and-play module for any canonical attention-based GNNs in an end-to-end fashion. Extensive experiments on a wide range of benchmark datasets illustrated that, by directly supervising attention functions, the model is able to converge faster with a clearer decision boundary, and thus yields better performances.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google