Masked Attention is All You Need for Graphs

要約

グラフ ニューラル ネットワーク (GNN) とメッセージ パッシング アルゴリズムのバリエーションは、主にその柔軟性、速度、満足のいくパフォーマンスにより、グラフで学習するための主要な手段です。
ただし、強力な汎用 GNN の設計には多大な研究努力が必要であり、多くの場合、慎重に選択された手作りのメッセージ パッシング オペレーターに依存します。
これを動機として、私たちは注意のみに依存する、グラフで学習するための非常にシンプルな代替案を提案します。
グラフはノード セットまたはエッジ セットとして表され、その接続性はアテンション ウェイト マトリックスをマスクすることで強化され、グラフごとにカスタム アテンション パターンを効果的に作成します。
そのシンプルさにもかかわらず、グラフに対するマスクされたアテンション (MAG) は、長距離タスクにおいて最先端のパフォーマンスを発揮し、55 を超えるノードおよびグラフレベルのタスクにおいて、強力なメッセージ パッシング ベースラインやより複雑なアテンション ベースの手法よりも優れたパフォーマンスを発揮します。
また、GNN と比較して大幅に優れた転移学習機能、および同等以上の時間とメモリのスケーリングも示しています。
MAG には、ノードまたはエッジの数におけるサブリニアなメモリ スケーリングがあり、高密度グラフでの学習が可能になり、アプローチの将来性が保証されます。

要約(オリジナル)

Graph neural networks (GNNs) and variations of the message passing algorithm are the predominant means for learning on graphs, largely due to their flexibility, speed, and satisfactory performance. The design of powerful and general purpose GNNs, however, requires significant research efforts and often relies on handcrafted, carefully-chosen message passing operators. Motivated by this, we propose a remarkably simple alternative for learning on graphs that relies exclusively on attention. Graphs are represented as node or edge sets and their connectivity is enforced by masking the attention weight matrix, effectively creating custom attention patterns for each graph. Despite its simplicity, masked attention for graphs (MAG) has state-of-the-art performance on long-range tasks and outperforms strong message passing baselines and much more involved attention-based methods on over 55 node and graph-level tasks. We also show significantly better transfer learning capabilities compared to GNNs and comparable or better time and memory scaling. MAG has sub-linear memory scaling in the number of nodes or edges, enabling learning on dense graphs and future-proofing the approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google