Probabilistically Rewired Message-Passing Neural Networks

要約

メッセージパッシンググラフニューラルネットワーク（MPNN）は、グラフ構造の入力を処理する強力なツールとして登場した。しかし、MPNNは固定された入力グラフ構造に対して動作するため、潜在的なノイズや欠落情報を無視する。さらに、MPNNの局所的な集約メカニズムは、過剰なスカッシュや、関連するグラフ構造を捉える際の表現力の制限といった問題を引き起こす可能性がある。これらの課題に対する既存の解決策は、主に発見的手法に依存しており、多くの場合、基礎となるデータ分布を無視している。したがって、与えられた予測タスクに関連するグラフ構造を推論する学習のための原理的アプローチを考案することは、依然として未解決の課題である。本研究では、厳密かつ微分可能な$k$部分集合サンプリングにおける最近の進歩を活用し、確率的に再配線されたMPNN（PR-MPNN）を考案する。我々の理論的分析により、PR-MPNNがどのように表現力を高めるかを初めて明らかにし、PR-MPNNが純粋なランダム化アプローチを凌駕する正確な条件を特定する。経験的には、我々のアプローチがオーバースカッシュやアンダーリーチといった問題を効果的に緩和することを実証する。さらに、確立された実世界のデータセットにおいて、我々の手法は、従来のMPNNモデルや最近のグラフ変換器アーキテクチャと比較して、競争力のある、あるいは優れた予測性能を示す。

要約(オリジナル)

Message-passing graph neural networks (MPNNs) emerged as powerful tools for processing graph-structured input. However, they operate on a fixed input graph structure, ignoring potential noise and missing information. Furthermore, their local aggregation mechanism can lead to problems such as over-squashing and limited expressive power in capturing relevant graph structures. Existing solutions to these challenges have primarily relied on heuristic methods, often disregarding the underlying data distribution. Hence, devising principled approaches for learning to infer graph structures relevant to the given prediction task remains an open challenge. In this work, leveraging recent progress in exact and differentiable $k$-subset sampling, we devise probabilistically rewired MPNNs (PR-MPNNs), which learn to add relevant edges while omitting less beneficial ones. For the first time, our theoretical analysis explores how PR-MPNNs enhance expressive power, and we identify precise conditions under which they outperform purely randomized approaches. Empirically, we demonstrate that our approach effectively mitigates issues like over-squashing and under-reaching. In addition, on established real-world datasets, our method exhibits competitive or superior predictive performance compared to traditional MPNN models and recent graph transformer architectures.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL