PolyFormer: Scalable Node-wise Filters via Polynomial Graph Transformer

要約

スペクトル グラフ ニューラル ネットワークは、グラフ表現の学習において優れたパフォーマンスを実証しています。
ただし、現在の手法の多くは、すべてのノードに共有多項式係数を使用すること、つまりノード統合フィルターを学習することに重点を置いているため、ノードレベルのタスクに対するフィルターの柔軟性が制限されます。
最近の DSF は、位置エンコーディングに基づいてノードごとの係数を学習することで、この制限を克服しようとしています。
ただし、位置エンコーディングの初期化と更新のプロセスは煩雑であり、大規模なグラフのスケーラビリティを妨げます。
この研究では、スケーラブルなノードごとのフィルター PolyAttn を提案します。
アテンション メカニズムを活用して、PolyAttn は効率的な方法でノードごとのフィルターを直接学習し、強力な表現機能を提供します。
PolyAttn をベースにして、PolyFormer という名前のモデル全体を導入します。
Graph Transformer モデルのレンズでは、ノード内の注意スコアを計算する PolyFormer が優れたスケーラビリティを示します。
さらに、このモデルはスペクトル情報をキャプチャし、効率を維持しながら表現力を高めます。
これらの利点により、PolyFormer はノードレベルのタスクのスケーラビリティと表現力の間で望ましいバランスを提供します。
広範な実験により、私たちが提案した方法が任意のノードごとのフィルターの学習に優れ、同親性グラフと異好性グラフの両方で優れたパフォーマンスを示し、最大 1 億ノードを含むグラフを処理できることが実証されました。
コードは https://github.com/air029/PolyFormer で入手できます。

要約(オリジナル)

Spectral Graph Neural Networks have demonstrated superior performance in graph representation learning. However, many current methods focus on employing shared polynomial coefficients for all nodes, i.e., learning node-unified filters, which limits the filters’ flexibility for node-level tasks. The recent DSF attempts to overcome this limitation by learning node-wise coefficients based on positional encoding. However, the initialization and updating process of the positional encoding are burdensome, hindering scalability on large-scale graphs. In this work, we propose a scalable node-wise filter, PolyAttn. Leveraging the attention mechanism, PolyAttn can directly learn node-wise filters in an efficient manner, offering powerful representation capabilities. Building on PolyAttn, we introduce the whole model, named PolyFormer. In the lens of Graph Transformer models, PolyFormer, which calculates attention scores within nodes, shows great scalability. Moreover, the model captures spectral information, enhancing expressiveness while maintaining efficiency. With these advantages, PolyFormer offers a desirable balance between scalability and expressiveness for node-level tasks. Extensive experiments demonstrate that our proposed methods excel at learning arbitrary node-wise filters, showing superior performance on both homophilic and heterophilic graphs, and handling graphs containing up to 100 million nodes. The code is available at https://github.com/air029/PolyFormer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google