Curriculum-Enhanced Residual Soft An-Isotropic Normalization for Over-smoothness in Deep GNNs

要約

グラフ ニューラル ネットワークは、さまざまなグラフ関連の下流タスクにおいて、多くの古典的な手法に比べてパフォーマンスが大幅に向上していますが、その成功は、滑らかすぎることや他の多くの問題の中でも特に最適化の難しさにより、浅いモデルで限定されています。
この論文では、過度の平滑化の問題を軽減するために、ノード埋め込みの多様性を維持し、起こり得る過度の近さによる無差別を防ぐソフトグラフ正規化方法を提案します。
残差接続と組み合わせて、この方法が深いネットワークであっても入力グラフ構造とノード特徴の両方の知識を効果的にキャプチャできる理由を分析します。
さらに、難しい例の前に簡単な例を学習するカリキュラム学習に触発されて、深い GNN の最適化を強化するための新しいラベル平滑化ベースの学習フレームワークを提案します。これは、補助グラフ内のラベルを反復的に平滑化し、多くの段階的な非平滑タスクを構築します。
ますます複雑になる知識を抽出し、粗いノードから細かいノードまで段階的に識別します。
この方法は間違いなく、過剰適合のリスクを軽減し、より良い結果を一般化します。
最後に、12 の実世界のノード分類ベンチマークに関する最先端の手法を含む 12 の既存のベースラインとの比較を通じて、提案されたモデルと学習フレームワークの有効性と可能性を実証するために広範な実験が実行されます。

要約(オリジナル)

Despite Graph neural networks’ significant performance gain over many classic techniques in various graph-related downstream tasks, their successes are restricted in shallow models due to over-smoothness and the difficulties of optimizations among many other issues. In this paper, to alleviate the over-smoothing issue, we propose a soft graph normalization method to preserve the diversities of node embeddings and prevent indiscrimination due to possible over-closeness. Combined with residual connections, we analyze the reason why the method can effectively capture the knowledge in both input graph structures and node features even with deep networks. Additionally, inspired by Curriculum Learning that learns easy examples before the hard ones, we propose a novel label-smoothing-based learning framework to enhance the optimization of deep GNNs, which iteratively smooths labels in an auxiliary graph and constructs many gradual non-smooth tasks for extracting increasingly complex knowledge and gradually discriminating nodes from coarse to fine. The method arguably reduces the risk of overfitting and generalizes better results. Finally, extensive experiments are carried out to demonstrate the effectiveness and potential of the proposed model and learning framework through comparison with twelve existing baselines including the state-of-the-art methods on twelve real-world node classification benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google