Unifying gradient regularization for Heterogeneous Graph Neural Networks

要約

異種グラフ ニューラル ネットワーク (HGNN) は、異種グラフの表現を学習するために広く使用されている強力な深層学習手法のクラスです。
HGNN は急速に開発されていますが、過度の平滑化や非堅牢性などの課題に依然として直面しています。
以前の研究では、勾配正則化法を使用することでこれらの問題を軽減できることが示されています。
ただし、既存の勾配正則化手法は、グラフ トポロジまたはノード機能のいずれかに重点を置いています。
これらの機能を統合するための普遍的なアプローチはなく、正則化の効率に重大な影響を与えます。
さらに、勾配正則化を HGNN に組み込むと、トレーニング プロセスが不安定になったり、複雑さが増したり、正則化情報のカバレッジが不十分になったりするなど、問題が発生することがあります。
さらに、HGNN に対する勾配正則化の影響については、完全な理論的分析がまだ不足しています。
この論文では、Grug と呼ばれる新しい勾配正則化手法を提案します。この手法は、伝播されたメッセージとメッセージ受け渡しプロセス中にノード機能の両方によって生成された勾配に正則化を繰り返し適用します。
Grug は、グラフ トポロジとノード機能を統合する統一フレームワークを提供し、これに基づいて、その有効性について詳細な理論分析を実行します。
具体的には、理論的分析により、Grug の利点が詳しく説明されています。 1) トレーニング プロセス中のサンプル分散の減少 (安定性)。
2) モデルの一般化（普遍性）を強化する。
3) モデルの複雑さを軽減する (単純さ)。
４）グラフ情報利用の完全性と多様性（ダイバーシティ）の向上。
その結果、Grug は DropMessage (AAAI-23 Distinguished Papers) によって設定された理論上の上限を超える可能性があります。
さらに、2 つの下流タスクを備えた 5 つの公開現実世界データセットで Grug を評価します…

要約(オリジナル)

Heterogeneous Graph Neural Networks (HGNNs) are a class of powerful deep learning methods widely used to learn representations of heterogeneous graphs. Despite the fast development of HGNNs, they still face some challenges such as over-smoothing, and non-robustness. Previous studies have shown that these problems can be reduced by using gradient regularization methods. However, the existing gradient regularization methods focus on either graph topology or node features. There is no universal approach to integrate these features, which severely affects the efficiency of regularization. In addition, the inclusion of gradient regularization into HGNNs sometimes leads to some problems, such as an unstable training process, increased complexity and insufficient coverage regularized information. Furthermore, there is still short of a complete theoretical analysis of the effects of gradient regularization on HGNNs. In this paper, we propose a novel gradient regularization method called Grug, which iteratively applies regularization to the gradients generated by both propagated messages and the node features during the message-passing process. Grug provides a unified framework integrating graph topology and node features, based on which we conduct a detailed theoretical analysis of their effectiveness. Specifically, the theoretical analyses elaborate the advantages of Grug: 1) Decreasing sample variance during the training process (Stability); 2) Enhancing the generalization of the model (Universality); 3) Reducing the complexity of the model (Simplicity); 4) Improving the integrity and diversity of graph information utilization (Diversity). As a result, Grug has the potential to surpass the theoretical upper bounds set by DropMessage (AAAI-23 Distinguished Papers). In addition, we evaluate Grug on five public real-world datasets with two downstream tasks…

arxiv情報

提供元, 利用サービス

arxiv.jp, Google