Learning Long Range Dependencies on Graphs via Random Walks

要約

メッセージパッシング グラフ ニューラル ネットワーク (GNN) は、ローカルな関係を捕捉することに優れていますが、多くの場合、グラフに対する長距離の依存関係に苦戦します。
逆に、グラフ トランスフォーマー (GT) を使用すると、すべてのノード間の情報交換が可能になりますが、固定長ベクトルのセットとして扱うため、グラフ構造が過度に単純化されます。
この研究では、ランダム ウォークとメッセージ パッシングを組み合わせることで、両方の方法の制限を克服する新しいアーキテクチャである NeuralWalker を提案しています。
NeuralWalker は、ランダム ウォークをシーケンスとして扱うことでこれを実現し、シーケンス モデルにおける最近の進歩を適用して、これらのウォーク内の長距離依存関係を捕捉できるようにします。
この概念に基づいて、(1) ランダム ウォーク シーケンスによるより表現力豊かなグラフ表現、(2) 長距離の依存関係を把握するために任意のシーケンス モデルを利用できる機能、(3) さまざまな GNN の統合による柔軟性を提供するフレームワークを提案します。
そしてGTアーキテクチャ。
私たちの実験評価では、NeuralWalker が 19 のグラフとノードのベンチマーク データセットで大幅なパフォーマンス向上を達成し、特に PascalVoc-SP および COCO-SP データセットで既存の手法を最大 13% 上回るパフォーマンスを示していることが実証されています。
コードは https://github.com/BorgwardtLab/NeuralWalker で入手できます。

要約(オリジナル)

Message-passing graph neural networks (GNNs), while excelling at capturing local relationships, often struggle with long-range dependencies on graphs. Conversely, graph transformers (GTs) enable information exchange between all nodes but oversimplify the graph structure by treating them as a set of fixed-length vectors. This work proposes a novel architecture, NeuralWalker, that overcomes the limitations of both methods by combining random walks with message passing. NeuralWalker achieves this by treating random walks as sequences, allowing for the application of recent advances in sequence models in order to capture long-range dependencies within these walks. Based on this concept, we propose a framework that offers (1) more expressive graph representations through random walk sequences, (2) the ability to utilize any sequence model for capturing long-range dependencies, and (3) the flexibility by integrating various GNN and GT architectures. Our experimental evaluations demonstrate that NeuralWalker achieves significant performance improvements on 19 graph and node benchmark datasets, notably outperforming existing methods by up to 13% on the PascalVoc-SP and COCO-SP datasets. Code is available at https://github.com/BorgwardtLab/NeuralWalker.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google