Graph External Attention Enhanced Transformer

要約

Transformer アーキテクチャは、カスタマイズされたアテンション メカニズムや位置および構造エンコーディングによってグラフ ニューラル ネットワーク (GNN) のいくつかの制限を自然に克服するため、グラフ表現学習の分野で最近かなりの注目を集めています。
ある程度の進歩はあるものの、既存の研究ではグラフの外部情報、特にグラフ間の相関関係が見落とされる傾向があります。
直観的には、同様の構造を持つグラフは同様の表現を持つはずです。
したがって、私たちはグラフ外部アテンション (GEA) を提案します。これは、複数の外部ノード/エッジのキーと値のユニットを活用して、グラフ間の相関関係を暗黙的に取得する新しいアテンション メカニズムです。
これに基づいて、より包括的なグラフ表現のためにローカル構造とグローバル インタラクション情報を統合する、グラフ外部アテンション強化トランスフォーマー (GEAET) と呼ばれる効果的なアーキテクチャを設計します。
ベンチマーク データセットに対する広範な実験により、GEAET が最先端の経験的パフォーマンスを達成していることが実証されています。
ソース コードは、https://github.com/icm1018/GEAET で再現可能です。

要約(オリジナル)

The Transformer architecture has recently gained considerable attention in the field of graph representation learning, as it naturally overcomes several limitations of Graph Neural Networks (GNNs) with customized attention mechanisms or positional and structural encodings. Despite making some progress, existing works tend to overlook external information of graphs, specifically the correlation between graphs. Intuitively, graphs with similar structures should have similar representations. Therefore, we propose Graph External Attention (GEA) — a novel attention mechanism that leverages multiple external node/edge key-value units to capture inter-graph correlations implicitly. On this basis, we design an effective architecture called Graph External Attention Enhanced Transformer (GEAET), which integrates local structure and global interaction information for more comprehensive graph representations. Extensive experiments on benchmark datasets demonstrate that GEAET achieves state-of-the-art empirical performance. The source code is available for reproducibility at: https://github.com/icm1018/GEAET.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google