Transitivity-Preserving Graph Representation Learning for Bridging Local Connectivity and Role-based Similarity

要約

グラフ ニューラル ネットワークやグラフ トランスフォーマー モデルなどのグラフ表現学習 (GRL) 手法は、主にノード分類やリンク予測タスクに焦点を当てたグラフ構造データの分析に使用され、成功しています。
しかし、既存の研究はほとんどがローカル接続のみを考慮しており、長距離接続とノードの役割は無視されています。
この論文では、ローカルおよびグローバルの構造情報を固定長のベクトル表現に効果的に統合する Unified Graph Transformer Networks (UGT) を提案します。
まず、UGT はローカル部分構造を特定し、各ノードの $k$ ホップ近傍の特徴を集約することでローカル構造を学習します。
2 番目に、仮想エッジを構築し、構造的な類似性を持つ遠くのノードを橋渡しして、長距離の依存関係を把握します。
第三に、UGT はセルフアテンションを通じて統一表現を学習し、ノードペア間の構造的距離と $p$ ステップ遷移確率をエンコードします。
さらに、ローカルとグローバルの構造的特徴を融合するために遷移確率を効果的に学習し、その後他の下流タスクに転送できる自己教師あり学習タスクを提案します。
さまざまな下流タスクにわたる現実世界のベンチマーク データセットの実験結果では、UGT が最先端のモデルで構成されるベースラインを大幅に上回るパフォーマンスを示しました。
さらに、UGT は、非同型グラフのペアを区別する際に、3 次ワイスフェイラー・レーマン同型検定 (3d-WL) の表現力に達します。
ソース コードは https://github.com/NSLab-CUK/Unified-Graph-Transformer で入手できます。

要約(オリジナル)

Graph representation learning (GRL) methods, such as graph neural networks and graph transformer models, have been successfully used to analyze graph-structured data, mainly focusing on node classification and link prediction tasks. However, the existing studies mostly only consider local connectivity while ignoring long-range connectivity and the roles of nodes. In this paper, we propose Unified Graph Transformer Networks (UGT) that effectively integrate local and global structural information into fixed-length vector representations. First, UGT learns local structure by identifying the local substructures and aggregating features of the $k$-hop neighborhoods of each node. Second, we construct virtual edges, bridging distant nodes with structural similarity to capture the long-range dependencies. Third, UGT learns unified representations through self-attention, encoding structural distance and $p$-step transition probability between node pairs. Furthermore, we propose a self-supervised learning task that effectively learns transition probability to fuse local and global structural features, which could then be transferred to other downstream tasks. Experimental results on real-world benchmark datasets over various downstream tasks showed that UGT significantly outperformed baselines that consist of state-of-the-art models. In addition, UGT reaches the expressive power of the third-order Weisfeiler-Lehman isomorphism test (3d-WL) in distinguishing non-isomorphic graph pairs. The source code is available at https://github.com/NSLab-CUK/Unified-Graph-Transformer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google