Graph Propagation Transformer for Graph Representation Learning

要約

この論文では、グラフ表現学習のための新しいトランスフォーマー アーキテクチャを紹介します。
私たちの方法の核となる洞察は、トランスブロックにアテンションモジュールを構築するときに、グラフ内のノードとエッジ間の情報伝播を十分に考慮することです。
具体的には、グラフ伝播アテンション (GPA) と呼ばれる新しいアテンション メカニズムを提案します。
ノード間、ノード間、エッジ間という 3 つの方法でノードとエッジ間で情報を明示的に渡します。これはグラフ構造データの学習に不可欠です。
これに基づいて、グラフ データの学習をさらに支援するために、Graph Propagation Transformer (GPTrans) という名前の効果的なトランスフォーマー アーキテクチャを設計します。
いくつかのベンチマーク データセットに対する幅広いグラフ学習実験で GPTrans のパフォーマンスを検証します。
これらの結果は、私たちの方法が多くの最先端のトランスフォーマーベースのグラフモデルよりも優れたパフォーマンスを発揮することを示しています。
コードは https://github.com/czczup/GPTrans でリリースされます。

要約(オリジナル)

This paper presents a novel transformer architecture for graph representation learning. The core insight of our method is to fully consider the information propagation among nodes and edges in a graph when building the attention module in the transformer blocks. Specifically, we propose a new attention mechanism called Graph Propagation Attention (GPA). It explicitly passes the information among nodes and edges in three ways, i.e. node-to-node, node-to-edge, and edge-to-node, which is essential for learning graph-structured data. On this basis, we design an effective transformer architecture named Graph Propagation Transformer (GPTrans) to further help learn graph data. We verify the performance of GPTrans in a wide range of graph learning experiments on several benchmark datasets. These results show that our method outperforms many state-of-the-art transformer-based graph models with better performance. The code will be released at https://github.com/czczup/GPTrans.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google