Hybrid Focal and Full-Range Attention Based Graph Transformers

要約

自己注意メカニズムを使用した Transformers のパラダイムは、グラフ構造データの学習においてその利点を明らかにしました。
しかし、グラフ トランスフォーマーは全範囲の依存関係をモデル化できますが、多くの場合、局所性から情報を抽出するのが不十分です。
一般的には、ローカル情報を取得するための補助としてメッセージ パッシング ニューラル ネットワーク (MPNN) を利用しますが、下部構造を理解するにはまだ不十分です。
この論文では、グローバル相関を学習する際のローカル情報の損失を軽減できる、純粋にアテンションベースのアーキテクチャ、つまりフォーカルおよびフルレンジ グラフ トランスフォーマー (FFGT) を紹介します。
FFGT の中核コンポーネントは、複合注意の新しいメカニズムであり、従来の全範囲注意とエゴネット上の K ホップ焦点注意を組み合わせて、グローバル情報とローカル情報の両方を集約します。
正規のトランスフォーマーの範囲を超えて、FFGT には下部構造をより意識しているという利点があります。
私たちのアプローチは、さまざまなオープン データセット上で既存のグラフ トランスフォーマーのパフォーマンスを強化すると同時に、バニラ トランスフォーマーを使用した場合でも、いくつかの Long-Range Graph Benchmark (LRGB) データセット上で互換性のある SOTA パフォーマンスを実現します。
SBM-PATTERNに基づく新しい合成データセットを導入することにより、注意の最適な焦点距離に影響を与える要因をさらに調べます。

要約(オリジナル)

The paradigm of Transformers using the self-attention mechanism has manifested its advantage in learning graph-structured data. Yet, Graph Transformers are capable of modeling full range dependencies but are often deficient in extracting information from locality. A common practice is to utilize Message Passing Neural Networks (MPNNs) as an auxiliary to capture local information, which however are still inadequate for comprehending substructures. In this paper, we present a purely attention-based architecture, namely Focal and Full-Range Graph Transformer (FFGT), which can mitigate the loss of local information in learning global correlations. The core component of FFGT is a new mechanism of compound attention, which combines the conventional full-range attention with K-hop focal attention on ego-nets to aggregate both global and local information. Beyond the scope of canonical Transformers, the FFGT has the merit of being more substructure-aware. Our approach enhances the performance of existing Graph Transformers on various open datasets, while achieves compatible SOTA performance on several Long-Range Graph Benchmark (LRGB) datasets even with a vanilla transformer. We further examine influential factors on the optimal focal length of attention via introducing a novel synthetic dataset based on SBM-PATTERN.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google