RandAlign: A Parameter-Free Method for Regularizing Graph Convolutional Networks

要約

研究では、メッセージパッシンググラフ畳み込みネットワークが過剰な平滑化の問題に悩まされていることが継続的にわかっています。
基本的に、過度の平滑化の問題は、すべてのノードの学習されたエンベディングが互いに非常に類似するため、メッセージ パッシングの反復を繰り返し適用した後に有益ではなくなる現象を指します。
直観的には、生成されたエンベディングは層ごとに漸近的に滑らかになることが期待できます。つまり、グラフ畳み込みの各層は、前の層によって生成されたものと比較して、平滑化されたバージョンのエンベディングを生成します。
この直感に基づいて、グラフ畳み込みネットワークの確率的正則化手法である RandAlign を提案します。
RandAlign の考え方は、各グラフ畳み込み層でランダムに補間を使用して、各ノードの学習された埋め込みを前の層の埋め込みとランダムに位置合わせすることです。
位置合わせにより、生成された埋め込みの滑らかさは明らかに低下します。
グラフの畳み込みによってもたらされる利点をより適切に維持するために、位置合わせのステップで、最初に前の層のエンベディングを生成されたエンベディングと同じノルムにスケーリングし、次に生成されたエンベディングを位置合わせするためにランダムな補間を実行することを導入します。
RandAlign はパラメータを必要としないメソッドであり、追加のトレーニング可能な重みやハイパーパラメータを導入することなく直接適用できます。
7 つのベンチマーク データセット上のさまざまなグラフ ドメイン タスクで RandAlign を実験的に評価します。
実験結果は、RandAlign がさまざまなグラフ畳み込みネットワーク モデルの汎化パフォーマンスを向上させ、最適化の数値安定性も向上させ、グラフ表現学習の最先端のパフォーマンスを向上させる一般的な方法であることを示しています。

要約(オリジナル)

Studies continually find that message-passing graph convolutional networks suffer from the over-smoothing issue. Basically, the issue of over-smoothing refers to the phenomenon that the learned embeddings for all nodes can become very similar to one another and therefore are uninformative after repeatedly applying message passing iterations. Intuitively, we can expect the generated embeddings become smooth asymptotically layerwisely, that is each layer of graph convolution generates a smoothed version of embeddings as compared to that generated by the previous layer. Based on this intuition, we propose RandAlign, a stochastic regularization method for graph convolutional networks. The idea of RandAlign is to randomly align the learned embedding for each node with that of the previous layer using randomly interpolation in each graph convolution layer. Through alignment, the smoothness of the generated embeddings is explicitly reduced. To better maintain the benefit yielded by the graph convolution, in the alignment step we introduce to first scale the embedding of the previous layer to the same norm as the generated embedding and then perform random interpolation for aligning the generated embedding. RandAlign is a parameter-free method and can be directly applied without introducing additional trainable weights or hyper-parameters. We experimentally evaluate RandAlign on different graph domain tasks on seven benchmark datasets. The experimental results show that RandAlign is a general method that improves the generalization performance of various graph convolutional network models and also improves the numerical stability of optimization, advancing the state of the art performance for graph representation learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google