Large-Scale Spectral Graph Neural Networks via Laplacian Sparsification: Technical Report

要約

グラフ ニューラル ネットワーク (GNN) は、表現学習の習熟度を高めるために、グラフベースのタスクにおいて極めて重要な役割を果たします。
さまざまな GNN 手法の中でも、多項式フィルターを使用するスペクトル GNN は、同種のグラフ構造と異種のグラフ構造の両方を含むタスクで有望なパフォーマンスを示しています。
ただし、スペクトル GNN は順伝播中に複数回の前伝播実行を通じて多項式係数を学習するため、大規模なグラフでのスペクトル GNN のスケーラビリティは制限されます。
既存の研究では、入力ノード特徴の線形層を削除することでスペクトル GNN をスケールアップしようとしましたが、この変更はエンドツーエンドのトレーニングを中断し、パフォーマンスに影響を与える可能性があり、高次元の入力特徴では非現実的になります。
上記の課題に対処するために、スペクトル GNN の伝播パターンを近似する新しいグラフ スペクトル スパース化手法である「ラプラシアン スパース化によるスペクトル グラフ ニューラル ネットワーク (SGNN-LS)」を提案します。
私たちの提案した方法が、固定多項式フィルターと学習可能な多項式フィルターの両方を理論的に保証して近似できるラプラシアン・スパースファイアを生成することを証明します。
私たちの方法では、入力ノードの特徴に線形レイヤーを適用できるため、エンドツーエンドのトレーニングと生のテキスト特徴の処理が可能になります。
私たちは、さまざまなグラフスケールと特性にわたるデータセットに対して広範な実験分析を実施し、私たちの方法の優れた効率と有効性を実証します。
結果は、私たちの方法が、特にデータセット Ogbn-papers100M (111M ノード、1.6B エッジ) および MAG-scholar-C (280 万特徴) において、対応する近似基本モデルと比較して優れた結果を生み出すことを示しています。

要約(オリジナル)

Graph Neural Networks (GNNs) play a pivotal role in graph-based tasks for their proficiency in representation learning. Among the various GNN methods, spectral GNNs employing polynomial filters have shown promising performance on tasks involving both homophilous and heterophilous graph structures. However, The scalability of spectral GNNs on large graphs is limited because they learn the polynomial coefficients through multiple forward propagation executions during forward propagation. Existing works have attempted to scale up spectral GNNs by eliminating the linear layers on the input node features, a change that can disrupt end-to-end training, potentially impact performance, and become impractical with high-dimensional input features. To address the above challenges, we propose ‘Spectral Graph Neural Networks with Laplacian Sparsification (SGNN-LS)’, a novel graph spectral sparsification method to approximate the propagation patterns of spectral GNNs. We prove that our proposed method generates Laplacian sparsifiers that can approximate both fixed and learnable polynomial filters with theoretical guarantees. Our method allows the application of linear layers on the input node features, enabling end-to-end training as well as the handling of raw text features. We conduct an extensive experimental analysis on datasets spanning various graph scales and properties to demonstrate the superior efficiency and effectiveness of our method. The results show that our method yields superior results in comparison with the corresponding approximated base models, especially on dataset Ogbn-papers100M(111M nodes, 1.6B edges) and MAG-scholar-C (2.8M features).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google