Graph Triple Attention Network: A Decoupled Perspective

要約

グラフ トランスフォーマー (GT) は、長距離の依存関係とグラフの誘導バイアスの両方を効果的に捕捉することにより、グラフ ドメインで最近大きな成功を収めています。
しかし、これらの方法は 2 つの主要な課題に直面しています。(1) マルチビュー情報 (位置、構造、属性) を結合することで生じるマルチビュー カオス。これにより、柔軟な使用と伝播プロセスの解釈可能性が妨げられます。
(2) ローカルとグローバルの混乱。ローカルなメッセージ伝達とグローバルな注目を結びつけることで生じ、過剰適合と過剰グローバル化の問題につながります。
これらの課題に対処するために、GT を高レベルで分離した視点を提案し、GT を 3 つのコンポーネントと 2 つの相互作用レベル (位置的注意、構造的注意、属性の注意、およびローカルおよびグローバルの相互作用) に分類します。
この分離された観点に基づいて、DeGTA という名前の分離グラフ トリプル アテンション ネットワークを設計します。これは、マルチビュー アテンションを個別に計算し、マルチビューのローカル情報とグローバル情報を適応的に統合します。
このアプローチには、解釈可能性の向上、柔軟な設計、ローカル情報とグローバル情報の適応的な統合という 3 つの重要な利点があります。
広範な実験を通じて、DeGTA はノード分類やグラフ分類を含むさまざまなデータセットやタスクにわたって最先端のパフォーマンスを実現します。
包括的なアブレーション研究により、パフォーマンスの向上と解釈可能性の向上にはデカップリングが不可欠であることが実証されています。
私たちのコードはhttps://github.com/wangxiaotang0906/DeGTAで入手できます。

要約(オリジナル)

Graph Transformers (GTs) have recently achieved significant success in the graph domain by effectively capturing both long-range dependencies and graph inductive biases. However, these methods face two primary challenges: (1) multi-view chaos, which results from coupling multi-view information (positional, structural, attribute), thereby impeding flexible usage and the interpretability of the propagation process. (2) local-global chaos, which arises from coupling local message passing with global attention, leading to issues of overfitting and over-globalizing. To address these challenges, we propose a high-level decoupled perspective of GTs, breaking them down into three components and two interaction levels: positional attention, structural attention, and attribute attention, alongside local and global interaction. Based on this decoupled perspective, we design a decoupled graph triple attention network named DeGTA, which separately computes multi-view attentions and adaptively integrates multi-view local and global information. This approach offers three key advantages: enhanced interpretability, flexible design, and adaptive integration of local and global information. Through extensive experiments, DeGTA achieves state-of-the-art performance across various datasets and tasks, including node classification and graph classification. Comprehensive ablation studies demonstrate that decoupling is essential for improving performance and enhancing interpretability. Our code is available at: https://github.com/wangxiaotang0906/DeGTA

arxiv情報

提供元, 利用サービス

arxiv.jp, Google