Cayley Graph Propagation

要約

グラフ構造データのモデリングに関するグラフニューラルネットワーク（GNNS）を備えた多くのサクセスストーリーにもかかわらず、それらはクランシング過剰に対して脆弱であることで有名です。これにより、タスクはノードの距離ペア間の情報の混合を必要とします。
この問題に対処するために、以前の作業は、情報の流れを改善するためにグラフ構造を再配線することを提案しています。
あるいは、かなりの研究により、ボトルネックのないグラフ構造を発見して事前に計算することに専念して、過剰なクッシングを改善しています。
数学コミュニティ内のボトルネックのないグラフのよく見なされる家族の1つは、エキスパンダーグラフであり、以前の作業（Expanderグラフの伝播（EGP））が有名なエキスパンダーグラフファミリーの使用を提案しています。
ただし、EGPでは、使用される計算グラフは切り捨てられ、特定の入力グラフと整列しています。
この作業では、切り捨てが切望されている拡張特性に有害であることを示します。
代わりに、完全なケイリーグラフ構造を介して情報を伝播する方法であるCGPを提案し、それによってボトルネックがないようにして、スケッシングをよりよく緩和することを保証します。
いくつかの現実世界のデータセットにわたる経験的証拠は、CGPがEGPと比較して大幅な改善を回復するだけでなく、計算上複雑なグラフの再配線に似ている、または上回ることを示しています。

要約(オリジナル)

In spite of the plethora of success stories with graph neural networks (GNNs) on modelling graph-structured data, they are notoriously vulnerable to over-squashing, whereby tasks necessitate the mixing of information between distance pairs of nodes. To address this problem, prior work suggests rewiring the graph structure to improve information flow. Alternatively, a significant body of research has dedicated itself to discovering and precomputing bottleneck-free graph structures to ameliorate over-squashing. One well regarded family of bottleneck-free graphs within the mathematical community are expander graphs, with prior work — Expander Graph Propagation (EGP) — proposing the use of a well-known expander graph family — the Cayley graphs of the $\mathrm{SL}(2,\mathbb{Z}_n)$ special linear group — as a computational template for GNNs. However, in EGP the computational graphs used are truncated to align with a given input graph. In this work, we show that truncation is detrimental to the coveted expansion properties. Instead, we propose CGP, a method to propagate information over a complete Cayley graph structure, thereby ensuring it is bottleneck-free to better alleviate over-squashing. Our empirical evidence across several real-world datasets not only shows that CGP recovers significant improvements as compared to EGP, but it is also akin to or outperforms computationally complex graph rewiring techniques.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google