Exphormer: Sparse Transformers for Graphs

要約

グラフ トランスフォーマーは、さまざまなグラフ学習および表現タスクの有望なアーキテクチャとして登場しました。
しかし、その成功にもかかわらず、メッセージ パッシング ネットワークと競合する精度を維持しながら、グラフ トランスフォーマーを大きなグラフにスケーリングすることは依然として困難です。
このホワイト ペーパーでは、強力でスケーラブルなグラフ トランスフォーマーを構築するためのフレームワークである Exphormer を紹介します。
Exphormer は、仮想グローバル ノードとエキスパンダー グラフの 2 つのメカニズムに基づくスパース アテンション メカニズムで構成されています。これらの数学的特性 (スペクトル拡張、疑似ランダム性、スパース性など) は、複雑さがグラフのサイズに比例するだけのグラフ トランスフォーマーを生成します。
結果として得られる変圧器モデルの望ましい理論的特性を証明するため。
\textsc{Exphormer} を最近提案された GraphGPS フレームワークに組み込むと、3 つのデータセットでの最先端の結果を含む、さまざまなグラフ データセットで競争力のある経験的結果を持つモデルが生成されることを示します。
\textsc{Exphormer} は、以前のグラフ トランスフォーマー アーキテクチャよりも大きなグラフのデータセットにスケーリングできることも示しています。
コードは https://github.com/hamed1375/Expormer にあります。

要約(オリジナル)

Graph transformers have emerged as a promising architecture for a variety of graph learning and representation tasks. Despite their successes, though, it remains challenging to scale graph transformers to large graphs while maintaining accuracy competitive with message-passing networks. In this paper, we introduce Exphormer, a framework for building powerful and scalable graph transformers. Exphormer consists of a sparse attention mechanism based on two mechanisms: virtual global nodes and expander graphs, whose mathematical characteristics, such as spectral expansion, pseduorandomness, and sparsity, yield graph transformers with complexity only linear in the size of the graph, while allowing us to prove desirable theoretical properties of the resulting transformer models. We show that incorporating \textsc{Exphormer} into the recently-proposed GraphGPS framework produces models with competitive empirical results on a wide variety of graph datasets, including state-of-the-art results on three datasets. We also show that \textsc{Exphormer} can scale to datasets on larger graphs than shown in previous graph transformer architectures. Code can be found at https://github.com/hamed1375/Exphormer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google