On the Initialization of Graph Neural Networks

要約

グラフ ニューラル ネットワーク (GNN) は、さまざまなアプリケーションにわたるグラフ表現の学習においてかなりの有望性を示しています。
コアの学習プロセスでは、各 GNN 層内のモデルの重み行列の初期化が必要ですが、これは通常、Xavier 初期化などの古典的な初期化方法によって行われます。
ただし、これらの手法はもともと、フィードフォワード ニューラル ネットワーク (FNN) と畳み込みニューラル ネットワーク (CNN) の層全体で隠れた埋め込みと勾配の分散を安定化させ、勾配の消失を回避し、安定した情報の流れを維持することを目的としていました。
対照的に、GNN コンテキスト内では、古典的な初期化は、入力グラフ構造と分散に渡すメッセージの影響を無視します。
この論文では、GNN 層全体にわたる順方向伝播と逆方向伝播の分散を分析し、GNN 初期化の分散の不安定性が活性化関数、隠れ次元、グラフ構造、メッセージ受け渡しの複合効果に起因することを示します。
これらの影響要因をより適切に説明するために、GNN Optimization (Virgo) 内で Variance Instability Reduction の新しい初期化方法を提案します。これは、連続する層全体で前方分散と後方分散を自然に等しくする傾向があります。
私たちは 15 のデータセットに対して包括的な実験を実施し、Virgo がノード分類、リンク予測、およびグラフ分類タスクの初期化時に優れたモデル パフォーマンスとより安定した分散をもたらすことができることを示しました。
コードは https://github.com/LspongebobJH/virgo_icml2023 にあります。

要約(オリジナル)

Graph Neural Networks (GNNs) have displayed considerable promise in graph representation learning across various applications. The core learning process requires the initialization of model weight matrices within each GNN layer, which is typically accomplished via classic initialization methods such as Xavier initialization. However, these methods were originally motivated to stabilize the variance of hidden embeddings and gradients across layers of Feedforward Neural Networks (FNNs) and Convolutional Neural Networks (CNNs) to avoid vanishing gradients and maintain steady information flow. In contrast, within the GNN context classical initializations disregard the impact of the input graph structure and message passing on variance. In this paper, we analyze the variance of forward and backward propagation across GNN layers and show that the variance instability of GNN initializations comes from the combined effect of the activation function, hidden dimension, graph structure and message passing. To better account for these influence factors, we propose a new initialization method for Variance Instability Reduction within GNN Optimization (Virgo), which naturally tends to equate forward and backward variances across successive layers. We conduct comprehensive experiments on 15 datasets to show that Virgo can lead to superior model performance and more stable variance at initialization on node classification, link prediction and graph classification tasks. Codes are in https://github.com/LspongebobJH/virgo_icml2023.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google