Supra-Laplacian Encoding for Transformer on Dynamic Graphs

要約

完全に接続されたグラフ トランスフォーマー (GT) は、表現力の欠如、過剰な潰れ、および不十分な到達に悩まされるメッセージ パッシング モデルの代替として、静的グラフ コミュニティで急速に注目を集めるようになりました。
ただし、動的なコンテキストでは、複数のスナップショットですべてのノードをセルフアテンションで相互接続することにより、GT は構造情報と時間情報の両方を失います。
この研究では、時空間情報を維持しながら GT アーキテクチャを活用する新しい時空間エンコーディングである、時空間 Transformer 用の Supra-LAplacian エンコーディング (SLATE) を紹介します。
具体的には、離散時間動的グラフを多層グラフに変換し、それらに関連する超ラプラシアン行列のスペクトル特性を利用します。
私たちの 2 番目の貢献では、クロスアテンション メカニズムを使用してノードのペア関係を明示的にモデル化し、動的リンク予測のための正確なエッジ表現を提供します。
SLATE は、9 つ​​のデータセット上で、リカレント モデル (LSTM など) とダイナミック グラフ トランスフォーマーを組み合わせたメッセージ パッシング グラフ ニューラル ネットワークに基づく数多くの最先端の手法よりも優れたパフォーマンスを発揮します。
結果を再現するためのコードと手順はオープンソース化されます。

要約(オリジナル)

Fully connected Graph Transformers (GT) have rapidly become prominent in the static graph community as an alternative to Message-Passing models, which suffer from a lack of expressivity, oversquashing, and under-reaching. However, in a dynamic context, by interconnecting all nodes at multiple snapshots with self-attention, GT loose both structural and temporal information. In this work, we introduce Supra-LAplacian encoding for spatio-temporal TransformErs (SLATE), a new spatio-temporal encoding to leverage the GT architecture while keeping spatio-temporal information. Specifically, we transform Discrete Time Dynamic Graphs into multi-layer graphs and take advantage of the spectral properties of their associated supra-Laplacian matrix. Our second contribution explicitly model nodes’ pairwise relationships with a cross-attention mechanism, providing an accurate edge representation for dynamic link prediction. SLATE outperforms numerous state-of-the-art methods based on Message-Passing Graph Neural Networks combined with recurrent models (e.g LSTM), and Dynamic Graph Transformers, on 9 datasets. Code and instructions to reproduce our results will be open-sourced.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google