Exphormer: Sparse Transformers for Graphs

要約

グラフ トランスフォーマーは、さまざまなグラフ学習および表現タスクのための有望なアーキテクチャとして浮上しています。
しかし、成功にもかかわらず、メッセージパッシングネットワークと競合する精度を維持しながら、グラフトランスフォーマーを大きなグラフに拡張することは依然として困難です。
このペーパーでは、強力でスケーラブルなグラフ トランスフォーマーを構築するためのフレームワークである Expphormer を紹介します。
Exphormer は、仮想グローバル ノードとエキスパンダー グラフの 2 つのメカニズムに基づくスパース アテンション メカニズムで構成されます。スペクトル拡張、擬似乱数性、スパース性などの数学的特性により、グラフのサイズが線形でのみ複雑なグラフ トランスフォーマーが生成され、結果として得られるトランスフォーマー モデルの望ましい理論的特性を証明できます。
最近提案された GraphGPS フレームワークに Exphormer を組み込むと、3 つのデータセットでの最先端の結果を含む、さまざまなグラフ データセットで競合する実証結果を備えたモデルが生成されることを示します。
また、Exphormer が、以前のグラフ トランスフォーマー アーキテクチャで示されているものよりも大きなグラフ上のデータセットに合わせてスケーリングできることも示します。
コードは \url{https://github.com/hamed1375/Exphormer} にあります。

要約(オリジナル)

Graph transformers have emerged as a promising architecture for a variety of graph learning and representation tasks. Despite their successes, though, it remains challenging to scale graph transformers to large graphs while maintaining accuracy competitive with message-passing networks. In this paper, we introduce Exphormer, a framework for building powerful and scalable graph transformers. Exphormer consists of a sparse attention mechanism based on two mechanisms: virtual global nodes and expander graphs, whose mathematical characteristics, such as spectral expansion, pseduorandomness, and sparsity, yield graph transformers with complexity only linear in the size of the graph, while allowing us to prove desirable theoretical properties of the resulting transformer models. We show that incorporating Exphormer into the recently-proposed GraphGPS framework produces models with competitive empirical results on a wide variety of graph datasets, including state-of-the-art results on three datasets. We also show that Exphormer can scale to datasets on larger graphs than shown in previous graph transformer architectures. Code can be found at \url{https://github.com/hamed1375/Exphormer}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google