Convergence of Message Passing Graph Neural Networks with Generic Aggregation On Large Random Graphs

要約

ノード数が無限になる傾向にあるため、ランダム グラフ モデル上のメッセージ パッシング グラフ ニューラル ネットワークの連続対応物への収束を研究します。
これまで、この収束は、正規化平均の形式、または同等の、隣接行列やグラフ ラプラシアンなどの古典的な演算子の適用の形式で集計関数を備えたアーキテクチャでのみ知られていました。
このような結果を、アテンションベースのメッセージ パッシング、最大畳み込みメッセージ パッシング、または (次数正規化された) 畳み込みメッセージ パッシングなど、古典的に使用されているすべてのメッセージ パッシング グラフ ニューラル ネットワークを包含する、大規模なクラスの集計関数に拡張します。
穏やかな仮定の下で、この収束を定量化するために、高い確率で非漸近限界を与えます。
私たちの主な結果は、McDiarmid の不等式に基づいています。
興味深いことに、この結果は、集約が座標上の最大値である場合には当てはまりません。
このケースを個別に処理し、異なる収束率を取得します。

要約(オリジナル)

We study the convergence of message passing graph neural networks on random graph models to their continuous counterpart as the number of nodes tends to infinity. Until now, this convergence was only known for architectures with aggregation functions in the form of normalized means, or, equivalently, of an application of classical operators like the adjacency matrix or the graph Laplacian. We extend such results to a large class of aggregation functions, that encompasses all classically used message passing graph neural networks, such as attention-based message passing, max convolutional message passing or (degree-normalized) convolutional message passing. Under mild assumptions, we give non-asymptotic bounds with high probability to quantify this convergence. Our main result is based on the McDiarmid inequality. Interestingly, this result does not apply to the case where the aggregation is a coordinate-wise maximum. We treat this case separately and obtain a different convergence rate.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google