DeepRicci: Self-supervised Graph Structure-Feature Co-Refinement for Alleviating Over-squashing

要約

グラフ ニューラル ネットワーク (GNN) は、グラフの学習とマイニングに優れた能力を示しており、グラフ構造学習 (GSL) は、洗練されたグラフで GNN を強化する上で重要な役割を果たしています。
文献によれば、ほとんどの GSL ソリューションは、タスク固有の監視 (つまり、ノード分類) による構造の改良に主に焦点を当てているか、GNN 自体の固有の弱点 (過剰潰しなど) を見落としており、その結果、洗練された設計にも関わらず次善のパフォーマンスが得られます。
これらの制限を考慮して、典型的な GNN における過剰潰しの問題を効果的に軽減するために、自己教師ありグラフの構造と特徴の共洗練を研究することを提案します。
この論文では、リーマン幾何学におけるリッチ曲率について根本的に異なる視点をとり、リッチ曲率のモデリング、利用、計算という課題に直面します。
これらの課題に取り組むために、自己教師ありリーマン モデル DeepRicci を紹介します。
具体的には、不均一曲率の潜在リーマン空間を導入してさまざまなリッチ曲率をモデル化し、典型的な GNN にリッチ曲率を利用するジャイロベクトル特徴マッピングを提案します。
その後、異なる幾何学的ビュー間の幾何学的対比学習によってノードの特徴を洗練し、同時に微分可能なリッチ曲率の新しい定式化に基づく逆方向リッチフローによってグラフ構造を洗練します。
最後に、公開データセットでの広範な実験により、DeepRicci の優位性と、後方リッチ フローと過剰潰しとの関係が示されました。
私たちの作業のコードは https://github.com/RiemanGraph/ にあります。

要約(オリジナル)

Graph Neural Networks (GNNs) have shown great power for learning and mining on graphs, and Graph Structure Learning (GSL) plays an important role in boosting GNNs with a refined graph. In the literature, most GSL solutions either primarily focus on structure refinement with task-specific supervision (i.e., node classification), or overlook the inherent weakness of GNNs themselves (e.g., over-squashing), resulting in suboptimal performance despite sophisticated designs. In light of these limitations, we propose to study self-supervised graph structure-feature co-refinement for effectively alleviating the issue of over-squashing in typical GNNs. In this paper, we take a fundamentally different perspective of the Ricci curvature in Riemannian geometry, in which we encounter the challenges of modeling, utilizing and computing Ricci curvature. To tackle these challenges, we present a self-supervised Riemannian model, DeepRicci. Specifically, we introduce a latent Riemannian space of heterogeneous curvatures to model various Ricci curvatures, and propose a gyrovector feature mapping to utilize Ricci curvature for typical GNNs. Thereafter, we refine node features by geometric contrastive learning among different geometric views, and simultaneously refine graph structure by backward Ricci flow based on a novel formulation of differentiable Ricci curvature. Finally, extensive experiments on public datasets show the superiority of DeepRicci, and the connection between backward Ricci flow and over-squashing. Codes of our work are given in https://github.com/RiemanGraph/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google