Beyond Over-smoothing: Uncovering the Trainability Challenges in Deep Graph Neural Networks

要約

グラフ伝播層の深さが 8 ～ 10 を超えると、グラフ ニューラル ネットワーク (GNN) のパフォーマンスが大幅に低下するのは、過剰平滑化現象が原因であると広く考えられています。
最近の研究では、過剰平滑化がこのようなパフォーマンス低下の主な原因ではない可能性があることを示唆していますが、理論的な観点からの厳密な分析は提供されていないため、さらなる調査が必要です。
この論文では、深い GNN における実際の主要な問題を体系的に分析し、経験的実験と理論的勾配解析を通じて、過剰平滑化に対処するためにこれらの GNN が本質的に取り組む問題を特定します。
私たちは理論的に、ディープ MLP の困難なトレーニング問題が実際に主な課題であり、過剰平滑化に取り組むと思われるさまざまな既存の方法が実際に MLP のトレーニング可能性を向上させ、これがパフォーマンス向上の主な理由であることを証明します。
トレーニング可能性の問題についてのさらなる調査により、勾配流のより小さな上限を適切に制限すると、GNN のトレーニング可能性が著しく向上することが明らかになりました。
さまざまなデータセットに関する実験結果は、理論的発見と経験的証拠の間の一貫性を示しています。
私たちの分析は、ディープ グラフ モデルの構築において新しい洞察を提供します。

要約(オリジナル)

The drastic performance degradation of Graph Neural Networks (GNNs) as the depth of the graph propagation layers exceeds 8-10 is widely attributed to a phenomenon of Over-smoothing. Although recent research suggests that Over-smoothing may not be the dominant reason for such a performance degradation, they have not provided rigorous analysis from a theoretical view, which warrants further investigation. In this paper, we systematically analyze the real dominant problem in deep GNNs and identify the issues that these GNNs towards addressing Over-smoothing essentially work on via empirical experiments and theoretical gradient analysis. We theoretically prove that the difficult training problem of deep MLPs is actually the main challenge, and various existing methods that supposedly tackle Over-smoothing actually improve the trainability of MLPs, which is the main reason for their performance gains. Our further investigation into trainability issues reveals that properly constrained smaller upper bounds of gradient flow notably enhance the trainability of GNNs. Experimental results on diverse datasets demonstrate consistency between our theoretical findings and empirical evidence. Our analysis provides new insights in constructing deep graph models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google