Probabilistic Graph Rewiring via Virtual Nodes

要約

メッセージパッシング グラフ ニューラル ネットワーク (MPNN) は、グラフベースの機械学習の強力なパラダイムとして登場しました。
MPNN はその有効性にもかかわらず、限られた受容野と構造的ボトルネックによりグラフ内の情報の流れが妨げられる、リーチ不足や過剰潰しなどの課題に直面しています。
グラフ トランスフォーマーはこれらの問題に対処する可能性を秘めていますが、ノード数に関する 2 次の複雑さによりスケーラビリティが制限され、より大きなグラフでは非現実的になります。
ここでは、暗黙的な確率グラフ再配線を MPNN に統合する新しいアプローチである、暗黙的に再配線されたメッセージ パッシング ニューラル ネットワーク (IPR-MPNN) を提案します。
少数の仮想ノードを導入することにより、つまり、微分可能なエンドツーエンドの方法で、特定のグラフに追加のノードを追加し、それらを既存のノードに接続することにより、IPR-MPNN は長距離メッセージ伝播を可能にし、二次複雑性を回避します。
理論的には、IPR-MPNN が従来の MPNN の表現力を上回ることを示します。
経験的に、私たちはリーチ不足や過剰潰し効果を軽減し、複数のグラフ データセットにわたって最先端のパフォーマンスを達成する能力を実証することでアプローチを検証します。
特に、IPR-MPNN は、大幅に高速な計算効率を維持しながら、グラフ トランスフォーマーよりも優れたパフォーマンスを発揮します。

要約(オリジナル)

Message-passing graph neural networks (MPNNs) have emerged as a powerful paradigm for graph-based machine learning. Despite their effectiveness, MPNNs face challenges such as under-reaching and over-squashing, where limited receptive fields and structural bottlenecks hinder information flow in the graph. While graph transformers hold promise in addressing these issues, their scalability is limited due to quadratic complexity regarding the number of nodes, rendering them impractical for larger graphs. Here, we propose implicitly rewired message-passing neural networks (IPR-MPNNs), a novel approach that integrates implicit probabilistic graph rewiring into MPNNs. By introducing a small number of virtual nodes, i.e., adding additional nodes to a given graph and connecting them to existing nodes, in a differentiable, end-to-end manner, IPR-MPNNs enable long-distance message propagation, circumventing quadratic complexity. Theoretically, we demonstrate that IPR-MPNNs surpass the expressiveness of traditional MPNNs. Empirically, we validate our approach by showcasing its ability to mitigate under-reaching and over-squashing effects, achieving state-of-the-art performance across multiple graph datasets. Notably, IPR-MPNNs outperform graph transformers while maintaining significantly faster computational efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google