Probabilistically Rewired Message-Passing Neural Networks

要約

メッセージパッシング グラフ ニューラル ネットワーク (MPNN) は、グラフ構造の入力を処理するための強力なツールとして登場しました。
ただし、これらは固定入力グラフ構造で動作し、潜在的なノイズや欠落情報を無視します。
さらに、それらのローカル集約メカニズムは、関連するグラフ構造をキャプチャする際の過度の潰れや表現力の制限などの問題を引き起こす可能性があります。
これらの課題に対する既存のソリューションは主にヒューリスティック手法に依存しており、多くの場合、基礎となるデータ分散が無視されています。
したがって、特定の予測タスクに関連するグラフ構造を推測する方法を学習するための原則に基づいたアプローチを考案することは、依然として未解決の課題です。
この研究では、正確で微分可能な $k$ サブセット サンプリングにおける最近の進歩を活用して、あまり有益でないエッジを省略しながら関連性のあるエッジを追加することを学習する確率的に再配線された MPNN (PR-MPNN) を考案します。
初めて、私たちの理論分析では、PR-MPNN がどのように表現力を強化するかを調査し、PR-MPNN が純粋にランダム化されたアプローチよりも優れたパフォーマンスを発揮する正確な条件を特定しました。
私たちは経験的に、私たちのアプローチが過剰な潰しや不十分なリーチなどの問題を効果的に軽減することを実証しています。
さらに、確立された現実世界のデータセット上で、私たちの方法は、従来の MPNN モデルや最近のグラフ トランスフォーマー アーキテクチャと比較して、競合または優れた予測パフォーマンスを示します。

要約(オリジナル)

Message-passing graph neural networks (MPNNs) emerged as powerful tools for processing graph-structured input. However, they operate on a fixed input graph structure, ignoring potential noise and missing information. Furthermore, their local aggregation mechanism can lead to problems such as over-squashing and limited expressive power in capturing relevant graph structures. Existing solutions to these challenges have primarily relied on heuristic methods, often disregarding the underlying data distribution. Hence, devising principled approaches for learning to infer graph structures relevant to the given prediction task remains an open challenge. In this work, leveraging recent progress in exact and differentiable $k$-subset sampling, we devise probabilistically rewired MPNNs (PR-MPNNs), which learn to add relevant edges while omitting less beneficial ones. For the first time, our theoretical analysis explores how PR-MPNNs enhance expressive power, and we identify precise conditions under which they outperform purely randomized approaches. Empirically, we demonstrate that our approach effectively mitigates issues like over-squashing and under-reaching. In addition, on established real-world datasets, our method exhibits competitive or superior predictive performance compared to traditional MPNN models and recent graph transformer architectures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google