A Comprehensive Study on Large-Scale Graph Training: Benchmarking and Rethinking

要約

大規模なグラフ トレーニングは、グラフ ニューラル ネットワーク (GNN) にとって非常に難しい問題です。
グラフ構造をトレーニング プロセスに進化させるという性質上、通常の GNN は通常、スケールアップに失敗し、GPU メモリ スペースによって制限されます。
これまで、多数のスケーラブルな GNN アーキテクチャが提案されてきましたが、スケーラブルな GNN を設計する理論的根拠を見つけるための、このリザーバーの包括的な調査と公正なベンチマークがまだ不足しています。
この目的のために、まず大規模なグラフトレーニングの代表的な方法をいくつかのブランチに体系的に定式化し、貪欲なハイパーパラメータ検索によってそれらの公正で一貫したベンチマークをさらに確立します。
さらに、効率に関しては、さまざまな分岐の時間と空間の複雑さを理論的に評価し、それらを GPU メモリ使用量、スループット、および収束に関して経験的に比較します。
さらに、スケーラブルな GNN のさまざまなブランチの長所と短所を分析し、既存の問題に対処するために、EnGCN という名前の新しいアンサンブル トレーニング方法を提示します。
コードは https://github.com/VITA-Group/Large_Scale_GCN_Benchmarking で入手できます。

要約(オリジナル)

Large-scale graph training is a notoriously challenging problem for graph neural networks (GNNs). Due to the nature of evolving graph structures into the training process, vanilla GNNs usually fail to scale up, limited by the GPU memory space. Up to now, though numerous scalable GNN architectures have been proposed, we still lack a comprehensive survey and fair benchmark of this reservoir to find the rationale for designing scalable GNNs. To this end, we first systematically formulate the representative methods of large-scale graph training into several branches and further establish a fair and consistent benchmark for them by a greedy hyperparameter searching. In addition, regarding efficiency, we theoretically evaluate the time and space complexity of various branches and empirically compare them w.r.t GPU memory usage, throughput, and convergence. Furthermore, We analyze the pros and cons for various branches of scalable GNNs and then present a new ensembling training manner, named EnGCN, to address the existing issues. Our code is available at https://github.com/VITA-Group/Large_Scale_GCN_Benchmarking.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google