Higher-Order Graphon Neural Networks: Approximation and Cut Distance

要約

グラフ制限モデルは、高密度グラフの制限のグラフンのようなもので、最近、グラフニューラルネットワーク（GNNS）のサイズ移動性を研究するために使用されています。
ほとんどの文献は、GNN（MPNN）に合格するメッセージに焦点を当てていますが、この作業では、より強力な高次GNNに参加します。
まず、グラフンの$ k $ -WLテスト（B \ ‘Oker、2023）をグラフンシグナル空間に拡張し、重要なツールとして信号加重さた同種密度を導入します。
例示的な焦点として、インフアイアントグラフネットワーク（IGN）がグラフンに一般化し、境界線形演算子に対応するIGN基底のサブセットを介して定義された不変のグラフンネットワーク（IWNS）を提案します。
この制限された根拠があっても、注文$ k $のiwnsは少なくとも$ k $ -wlテストと同じくらい強力であることを示し、$ l^p $距離でグラフンシグナルのユニバーサル近似結果を確立します。
これにより、Cai＆Wang（2022）の以前の作業が大幅に拡張され、IWNS（IGN-Smallのサブセット）が、限界の完全なIGN基底と同じ表現力を効果的に返済することを示しています。
彼らのアプローチとは対照的に、私たちのIWNSの青写真は、MPNNとの比較可能性を促進するなど、Graphon空間のジオメトリとより良く整合しています。
典型的な高次のGNNは不連続なW.R.T.
距離を削減する – 収束の欠如を引き起こし、$ k $ -WL-輸送可能性の定義に本質的に結び付けられている。

要約(オリジナル)

Graph limit models, like graphons for limits of dense graphs, have recently been used to study size transferability of graph neural networks (GNNs). While most literature focuses on message passing GNNs (MPNNs), in this work we attend to the more powerful higher-order GNNs. First, we extend the $k$-WL test for graphons (B\’oker, 2023) to the graphon-signal space and introduce signal-weighted homomorphism densities as a key tool. As an exemplary focus, we generalize Invariant Graph Networks (IGNs) to graphons, proposing Invariant Graphon Networks (IWNs) defined via a subset of the IGN basis corresponding to bounded linear operators. Even with this restricted basis, we show that IWNs of order $k$ are at least as powerful as the $k$-WL test, and we establish universal approximation results for graphon-signals in $L^p$ distances. This significantly extends the prior work of Cai & Wang (2022), showing that IWNs–a subset of their IGN-small–retain effectively the same expressivity as the full IGN basis in the limit. In contrast to their approach, our blueprint of IWNs also aligns better with the geometry of graphon space, for example facilitating comparability to MPNNs. We highlight that, while typical higher-order GNNs are discontinuous w.r.t. cut distance–which causes their lack of convergence and is inherently tied to the definition of $k$-WL–transferability remains achievable.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google