Comprehensive Analysis of Over-smoothing in Graph Neural Networks from Markov Chains Perspective

要約

過剰な平滑化の問題は、ディープ グラフ ニューラル ネットワーク (GNN) の開発の障害となっています。
過度の平滑化の問題を改善するための多くのアプローチが提案されていますが、この問題の包括的な理解と結論はまだ不足しています。
この作業では、マルコフ連鎖の観点から過剰平滑化の問題を分析します。
GNN のメッセージ パッシングに注目し、まずグラフ上で GNN とマルコフ連鎖の間の接続を確立します。
GNN は、対応するマルコフ連鎖が時間同次であるかどうかに基づいて、演算子整合性と演算子不整合性の 2 つのクラスに分類されます。
次に、過剰平滑化の問題は、任意の初期分布が定常分布に収束することに起因すると考えます。
これに基づいて、以前に提案された方法は過度の平滑化を緩和できますが、これらの方法は過度の平滑化の問題を回避できないことを証明します。
さらに、マルコフ的な意味での 2 種類の GNN における過剰平滑化問題の結論を示します。
一方では、オペレーター一貫性のある GNN は、指数関数的な速度での過度の平滑化を避けることができません。
一方、演算子に一貫性のない GNN は、必ずしも過度に平滑化されているわけではありません。
さらに、時間不均一マルコフ連鎖の極限分布の存在を調査し、そこから演算子不整合 GNN が過度の平滑化を回避するための十分条件を導き出します。
最後に、調査結果を検証するための実験を計画します。
結果は、提案された十分条件が、演算子の一貫性のない GNN における過剰平滑化問題を効果的に改善し、モデルのパフォーマンスを向上させることができることを示しています。

要約(オリジナル)

The over-smoothing problem is an obstacle of developing deep graph neural network (GNN). Although many approaches to improve the over-smoothing problem have been proposed, there is still a lack of comprehensive understanding and conclusion of this problem. In this work, we analyze the over-smoothing problem from the Markov chain perspective. We focus on message passing of GNN and first establish a connection between GNNs and Markov chains on the graph. GNNs are divided into two classes of operator-consistent and operator-inconsistent based on whether the corresponding Markov chains are time-homogeneous. Next we attribute the over-smoothing problem to the convergence of an arbitrary initial distribution to a stationary distribution. Based on this, we prove that although the previously proposed methods can alleviate over-smoothing, but these methods cannot avoid the over-smoothing problem. In addition, we give the conclusion of the over-smoothing problem in two types of GNNs in the Markovian sense. On the one hand, operator-consistent GNN cannot avoid over-smoothing at an exponential rate. On the other hand, operator-inconsistent GNN is not always over-smoothing. Further, we investigate the existence of the limiting distribution of the time-inhomogeneous Markov chain, from which we derive a sufficient condition for operator-inconsistent GNN to avoid over-smoothing. Finally, we design experiments to verify our findings. Results show that our proposed sufficient condition can effectively improve over-smoothing problem in operator-inconsistent GNN and enhance the performance of the model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google