Bridging Smoothness and Approximation: Theoretical Insights into Over-Smoothing in Graph Neural Networks

要約

この論文では、グラフ上で定義された関数の近似理論を検討します。
私たちの研究は、$K$関数から導出された近似結果に基づいて構築されています。
グラフ畳み込みネットワーク (GCN) を使用してターゲット関数の近似の下限を評価する理論的枠組みを確立し、これらのネットワークで一般的に観察される過剰平滑化現象を調査します。
最初に、グラフに $K$ 汎関数の概念を導入し、滑らかさの係数との等価性を確立します。
次に、典型的なタイプの GCN を分析して、過剰平滑化の指標となる、出力の高周波エネルギーがどのように減衰するかを示します。
この分析により、GCN 内の過剰平滑化の性質について理論的な洞察が得られます。
さらに、GCN によるターゲット関数の近似の下限を確立します。これは、これらの関数の滑らかさの係数によって支配されます。
この発見は、GCN の近似機能に関する新しい視点を提供します。
私たちの数値実験では、広く適用されているいくつかの GCN を解析し、エネルギー減衰現象を観察します。
これらの観察は、指数関数的減衰次数に関する理論的結果を裏付けています。

要約(オリジナル)

In this paper, we explore the approximation theory of functions defined on graphs. Our study builds upon the approximation results derived from the $K$-functional. We establish a theoretical framework to assess the lower bounds of approximation for target functions using Graph Convolutional Networks (GCNs) and examine the over-smoothing phenomenon commonly observed in these networks. Initially, we introduce the concept of a $K$-functional on graphs, establishing its equivalence to the modulus of smoothness. We then analyze a typical type of GCN to demonstrate how the high-frequency energy of the output decays, an indicator of over-smoothing. This analysis provides theoretical insights into the nature of over-smoothing within GCNs. Furthermore, we establish a lower bound for the approximation of target functions by GCNs, which is governed by the modulus of smoothness of these functions. This finding offers a new perspective on the approximation capabilities of GCNs. In our numerical experiments, we analyze several widely applied GCNs and observe the phenomenon of energy decay. These observations corroborate our theoretical results on exponential decay order.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google