Graph External Attention Enhanced Transformer

要約

Transformerアーキテクチャは、カスタマイズされた注意メカニズムや位置・構造エンコーディングを持つグラフニューラルネットワーク（GNN）のいくつかの限界を自然に克服するため、グラフ表現学習の分野で最近大きな注目を集めている。ある程度の進歩は見られるものの、既存の研究はグラフの外部情報、特にグラフ間の相関を見落とす傾向がある。直感的には、類似した構造を持つグラフは類似した表現を持つはずである。そこで我々は、グラフ外部アテンション（Graph External Attention：GEA）を提案する。GEAは、複数の外部ノード／エッジのキー・バリュー・ユニットを活用し、グラフ間の相関を暗黙的に捉える新しいアテンション・メカニズムである。これに基づいて、我々は、より包括的なグラフ表現のために、局所的な構造と大域的な相互作用情報を統合する、グラフ外部注意拡張変換器（GEAET）と呼ばれる効果的なアーキテクチャを設計する。ベンチマークデータセットを用いた広範な実験により、GEAETが最先端の経験的性能を達成することを実証する。ソースコードはhttps://github.com/icm1018/GEAET。

要約(オリジナル)

The Transformer architecture has recently gained considerable attention in the field of graph representation learning, as it naturally overcomes several limitations of Graph Neural Networks (GNNs) with customized attention mechanisms or positional and structural encodings. Despite making some progress, existing works tend to overlook external information of graphs, specifically the correlation between graphs. Intuitively, graphs with similar structures should have similar representations. Therefore, we propose Graph External Attention (GEA) — a novel attention mechanism that leverages multiple external node/edge key-value units to capture inter-graph correlations implicitly. On this basis, we design an effective architecture called Graph External Attention Enhanced Transformer (GEAET), which integrates local structure and global interaction information for more comprehensive graph representations. Extensive experiments on benchmark datasets demonstrate that GEAET achieves state-of-the-art empirical performance. The source code is available for reproducibility at: https://github.com/icm1018/GEAET.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL