Causal-Based Supervision of Attention in Graph Neural Network: A Better and Simpler Choice towards Powerful Attention

要約

近年、アテンション メカニズムはグラフ表現学習の分野で大きな可能性を示しています。
ただし、注意ベースの GNN の変種は、多数の実世界のデータセットに新しいベンチマークを設定していますが、最近の研究では、直接監視がないため、誘導された注意は堅牢性が低く、ノイズの多いグラフに対して一般化可能ではないことが指摘されています。
この論文では、因果関係のツールを利用して、注意機能の学習プロセスに強力な監視信号を提供する新しいフレームワークを紹介します。
具体的には、最終的な予測に対する注意の直接的な因果効果を推定し、その効果を最大化して、より意味のある近傍に注意を向けるように注意を導きます。
私たちの方法は、エンドツーエンド方式で標準的なアテンションベースの GNN のプラグ アンド プレイ モジュールとして機能します。
広範囲のベンチマーク データセットに対する広範な実験により、私たちの方法でアテンションを直接監視することにより、モデルがより明確な決定境界でより速く収束できるため、より良いパフォーマンスが得られることが示されました。

要約(オリジナル)

In recent years, attention mechanisms have demonstrated significant potential in the field of graph representation learning. However, while variants of attention-based GNNs are setting new benchmarks for numerous real-world datasets, recent works have pointed out that their induced attentions are less robust and generalizable against noisy graphs due to the lack of direct supervision. In this paper, we present a new framework that utilizes the tool of causality to provide a powerful supervision signal for the learning process of attention functions. Specifically, we estimate the direct causal effect of attention on the final prediction and then maximize such effect to guide attention to attend to more meaningful neighbors. Our method can serve as a plug-and-play module for any canonical attention-based GNNs in an end-to-end fashion. Extensive experiments on a wide range of benchmark datasets illustrated that, by directly supervising attention with our method, the model is able to converge faster with a clearer decision boundary, and thus yields better performances.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google