Rank Collapse Causes Over-Smoothing and Over-Correlation in Graph Neural Networks

要約

私たちの研究は、ディープ グラフ ニューラル ネットワークにおける過剰な平滑化と特徴の過剰相関に関する新しい理論的洞察を明らかにしました。
不変部分空間の蔓延を示し、特徴変換の影響を受けない固定相対動作を示します。
私たちの研究は、部分空間の増幅が集約関数のスペクトルにのみ依存するため、定常状態への収束とノード状態の潜在的な過剰分離に関連する最近の観察を明らかにしました。
線形シナリオでは、これにより、ノード表現は、特徴変換とは独立した漸近収束率をもつ低次元部分空間によって支配されることになります。
これにより、ノード表現のランク崩壊が発生し、その結果、滑らかなベクトルがこの部分空間にまたがる場合には過剰な平滑化が発生し、過剰な平滑化が回避されている場合でも過剰な相関が発生します。
私たちの理論に基づいて、過度の平滑化、過剰相関、およびランクの崩壊を証明できる有益な特性としてクロネッカー積の合計を提案します。
私たちは経験的に洞察を非線形のケースに拡張し、既存のモデルが線形に独立した特徴を捕捉できないことを実証しました。

要約(オリジナル)

Our study reveals new theoretical insights into over-smoothing and feature over-correlation in deep graph neural networks. We show the prevalence of invariant subspaces, demonstrating a fixed relative behavior that is unaffected by feature transformations. Our work clarifies recent observations related to convergence to a constant state and a potential over-separation of node states, as the amplification of subspaces only depends on the spectrum of the aggregation function. In linear scenarios, this leads to node representations being dominated by a low-dimensional subspace with an asymptotic convergence rate independent of the feature transformations. This causes a rank collapse of the node representations, resulting in over-smoothing when smooth vectors span this subspace, and over-correlation even when over-smoothing is avoided. Guided by our theory, we propose a sum of Kronecker products as a beneficial property that can provably prevent over-smoothing, over-correlation, and rank collapse. We empirically extend our insights to the non-linear case, demonstrating the inability of existing models to capture linearly independent features.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google