VC dimension of Graph Neural Networks with Pfaffian activation functions

要約

グラフ ニューラル ネットワーク (GNN) は、データ駆動型の方法で広範囲のグラフ ドメインにわたるタスクを学習するための強力なツールとして近年登場しました。
メッセージ パッシング メカニズムに基づく GNN は、その直観的な定式化により人気が高まっており、グラフ同型性のワイスファイラー レーマン (WL) テストと密接に関連しており、同等であることが証明されています。
理論的な観点から、GNN は普遍的な近似器であることが示されており、その一般化能力 (つまり、Vapnik Chervonekis (VC) 次元の境界) が最近、区分的多項式活性化関数を備えた GNN について研究されています。
私たちの研究の目的は、パフィアン関数理論のフレームワークを使用して、GNN の VC 次元に関するこの分析を、シグモイドや双曲線正接などの他の一般的に使用される活性化関数に拡張することです。
境界は、アーキテクチャ パラメーター (深さ、ニューロンの数、入力サイズ) およびグラフ ドメインに適用された 1-WL テストの結果として得られる色の数に関して提供されます。
理論的分析は予備的な実験研究によって裏付けられています。

要約(オリジナル)

Graph Neural Networks (GNNs) have emerged in recent years as a powerful tool to learn tasks across a wide range of graph domains in a data-driven fashion; based on a message passing mechanism, GNNs have gained increasing popularity due to their intuitive formulation, closely linked with the Weisfeiler-Lehman (WL) test for graph isomorphism, to which they have proven equivalent. From a theoretical point of view, GNNs have been shown to be universal approximators, and their generalization capability (namely, bounds on the Vapnik Chervonekis (VC) dimension) has recently been investigated for GNNs with piecewise polynomial activation functions. The aim of our work is to extend this analysis on the VC dimension of GNNs to other commonly used activation functions, such as sigmoid and hyperbolic tangent, using the framework of Pfaffian function theory. Bounds are provided with respect to architecture parameters (depth, number of neurons, input size) as well as with respect to the number of colors resulting from the 1-WL test applied on the graph domain. The theoretical analysis is supported by a preliminary experimental study.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google