SpanGNN: Towards Memory-Efficient Graph Neural Networks via Spanning Subgraph Training

要約

グラフ ニューラル ネットワーク (GNN) は、グラフ データを学習する優れた機能を備えています。
フルグラフ GNN トレーニングは一般に精度が高くなりますが、ピーク時のメモリ使用量が大きくなり、大きなグラフを処理するときにメモリ不足の問題が発生します。
このメモリの問題に対処するための一般的な解決策は、ミニバッチ GNN トレーニングです。
ただし、ミニバッチ GNN トレーニングではトレーニングの分散が増加し、モデルの精度が犠牲になります。
この論文では、SpanGNN と呼ばれるスパニング サブグラフを使用したメモリ効率の高い新しい GNN トレーニング方法を提案します。
SpanGNN は、空の構造から構築された一連のスパニング サブグラフ上で GNN モデルをトレーニングします。
過剰なピーク メモリ消費の問題を克服するために、SpanGNN は元のグラフからエッジのセットを選択し、エポックごとにスパニング サブグラフを段階的に更新します。
モデルの精度を確保するために、2 種類のエッジ サンプリング戦略 (分散低減とノイズ低減) を導入し、SpanGNN が GNN 学習用に高品質なエッジを選択できるようにします。
広く使用されているデータセットに対して SpanGNN を使用した実験を実施し、モデルのパフォーマンスとピーク メモリ使用量の低さにおける SpanGNN の利点を実証します。

要約(オリジナル)

Graph Neural Networks (GNNs) have superior capability in learning graph data. Full-graph GNN training generally has high accuracy, however, it suffers from large peak memory usage and encounters the Out-of-Memory problem when handling large graphs. To address this memory problem, a popular solution is mini-batch GNN training. However, mini-batch GNN training increases the training variance and sacrifices the model accuracy. In this paper, we propose a new memory-efficient GNN training method using spanning subgraph, called SpanGNN. SpanGNN trains GNN models over a sequence of spanning subgraphs, which are constructed from empty structure. To overcome the excessive peak memory consumption problem, SpanGNN selects a set of edges from the original graph to incrementally update the spanning subgraph between every epoch. To ensure the model accuracy, we introduce two types of edge sampling strategies (i.e., variance-reduced and noise-reduced), and help SpanGNN select high-quality edges for the GNN learning. We conduct experiments with SpanGNN on widely used datasets, demonstrating SpanGNN’s advantages in the model performance and low peak memory usage.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google