Fast and Effective GNN Training with Linearized Random Spanning Trees

要約

グラフ理論にしっかりと根ざした強力なツールである実効抵抗に基づいて、ノード分類タスクで GNN をトレーニングするための新しい効果的でスケーラブルなフレームワークを紹介します。
私たちのアプローチは、ランダム スパニング ツリーの広範なシーケンスで GNN 重みを段階的に改良し、元のグラフの重要なトポロジ情報とノード情報を保持するパス グラフに適切に変換します。
これらのパス グラフの疎な性質により、GNN トレーニングの計算負荷が大幅に軽減されます。
これにより、スケーラビリティが向上するだけでなく、小さなトレーニング セット体制での過剰な潰し、過剰な平滑化、および過剰適合によって引き起こされるパフォーマンスの低下などの一般的な問題にも効果的に対処できます。
私たちは、多くの実世界のグラフ ベンチマークについて広範な実験調査を実施し、フレームワークをグラフ畳み込みネットワークに適用し、幅広い代表的なベースラインにわたってトレーニング速度とテスト精度の両方が同時に向上することを示しています。

要約(オリジナル)

We present a new effective and scalable framework for training GNNs in node classification tasks, based on the effective resistance, a powerful tool solidly rooted in graph theory. Our approach progressively refines the GNN weights on an extensive sequence of random spanning trees, suitably transformed into path graphs that retain essential topological and node information of the original graph. The sparse nature of these path graphs substantially lightens the computational burden of GNN training. This not only enhances scalability but also effectively addresses common issues like over-squashing, over-smoothing, and performance deterioration caused by overfitting in small training set regimes. We carry out an extensive experimental investigation on a number of real-world graph benchmarks, where we apply our framework to graph convolutional networks, showing simultaneous improvement of both training speed and test accuracy over a wide pool of representative baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google