Diffusing Graph Attention

要約

グラフでの機械学習の主要なパラダイムは、メッセージ パッシング グラフ ニューラル ネットワーク (MP-GNN) を使用します。MP-GNN では、ノード表現は、ローカル近傍の情報を集約することによって更新されます。
最近、MP-GNN のいくつかの既知の制限を解決するために、Transformer アーキテクチャをグラフに適応させる試みがますます増えています。
グラフ トランスフォーマーを設計する際の課題は、任意のグラフ構造をアーキテクチャに統合することです。
この課題に対処するために、Graph Diffuser (GD) を提案します。
GD は、グラフ内の離れたノード間の構造的および位置的関係を抽出することを学習し、それを使用して Transformer の注意とノード表現を指示します。
既存の GNN とグラフ トランスフォーマーが長距離の相互作用を捉えるのに苦労していることと、直感的な視覚化を認めながらグラフ ディフューザーがどのようにそれを行っているかを示します。
8 つのベンチマークでの実験では、Graph Diffuser が非常に競争力のあるモデルであり、さまざまな分野で最先端のモデルを上回っていることが示されています。

要約(オリジナル)

The dominant paradigm for machine learning on graphs uses Message Passing Graph Neural Networks (MP-GNNs), in which node representations are updated by aggregating information in their local neighborhood. Recently, there have been increasingly more attempts to adapt the Transformer architecture to graphs in an effort to solve some known limitations of MP-GNN. A challenging aspect of designing Graph Transformers is integrating the arbitrary graph structure into the architecture. We propose Graph Diffuser (GD) to address this challenge. GD learns to extract structural and positional relationships between distant nodes in the graph, which it then uses to direct the Transformer’s attention and node representation. We demonstrate that existing GNNs and Graph Transformers struggle to capture long-range interactions and how Graph Diffuser does so while admitting intuitive visualizations. Experiments on eight benchmarks show Graph Diffuser to be a highly competitive model, outperforming the state-of-the-art in a diverse set of domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google