Gradient Gating for Deep Multi-Rate Learning on Graphs

要約

グラディエント ゲーティング (G$^2$) は、グラフ ニューラル ネットワーク (GNN) のパフォーマンスを向上させるための新しいフレームワークです。
私たちのフレームワークは、基になるグラフのノード間で情報を渡すメッセージのマルチレート フローのメカニズムを使用して、GNN レイヤーの出力をゲーティングすることに基づいています。
メッセージ パッシング更新をさらに調整するために、ローカル勾配が利用されます。
私たちのフレームワークでは、基本的な GNN レイヤーを、マルチレート勾配ゲーティング メカニズムが構築されるラッパーとして柔軟に使用できます。
G$^2$ が過度の平滑化問題を軽減し、深い GNN の設計を可能にすることを厳密に証明します。
提案されたフレームワークが、大規模な異好性グラフを含むさまざまなグラフ学習タスクで最先端のパフォーマンスを達成することを実証するために、経験的な結果が提示されます。

要約(オリジナル)

We present Gradient Gating (G$^2$), a novel framework for improving the performance of Graph Neural Networks (GNNs). Our framework is based on gating the output of GNN layers with a mechanism for multi-rate flow of message passing information across nodes of the underlying graph. Local gradients are harnessed to further modulate message passing updates. Our framework flexibly allows one to use any basic GNN layer as a wrapper around which the multi-rate gradient gating mechanism is built. We rigorously prove that G$^2$ alleviates the oversmoothing problem and allows the design of deep GNNs. Empirical results are presented to demonstrate that the proposed framework achieves state-of-the-art performance on a variety of graph learning tasks, including on large-scale heterophilic graphs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google