An Experimental Comparison of Partitioning Strategies for Distributed Graph Neural Network Training

要約

最近、グラフ ニューラル ネットワーク (GNN) が、グラフ構造のデータを学習できる深層学習の成長分野として注目を集めています。
ただし、大規模なグラフで GNN をトレーニングするには計算要件とメモリ要件があるため、トレーニングを分散する必要があります。
分散 GNN トレーニングの前提条件は、入力グラフを、計算クラスターの複数のマシンに分散される小さな部分に分割することです。
グラフ分割はグラフ解析とグラフデータベースに関して研究されてきましたが、GNN トレーニングのパフォーマンスに対するその影響はほとんど調査されていません。
結果として、高品質なグラフ分割に計算量を投資することが GNN トレーニング シナリオで利益をもたらすかどうかは不明です。
この論文では、分散 GNN トレーニングにおけるグラフ分割の有効性を研究します。
私たちの研究は、GNN パラメーター、ミニバッチ サイズ、グラフ タイプ、機能サイズ、スケールアウト係数などのさまざまな要因がグラフ分割の有効性にどのように影響するかを理解することを目的としています。
頂点分割とエッジ分割を使用して 2 つの異なる GNN システムで実験を行います。
高品質のグラフ分割は、GNN トレーニングを高速化し、メモリ消費量を削減するのに非常に効果的な最適化であることがわかりました。
さらに、私たちの結果は、投資した分割時間は GNN トレーニング時間の短縮によってすぐに償却でき、ほとんどの GNN シナリオに関連する最適化になることを示しています。
分散グラフ処理に関する研究と比較して、私たちの研究では、グラフ分割が分散 GNN トレーニングにおいてさらに重要な役割を果たしていることが明らかになり、これがグラフ分割問題に関するさらなる研究の動機となっています。

要約(オリジナル)

Recently, graph neural networks (GNNs) have gained much attention as a growing area of deep learning capable of learning on graph-structured data. However, the computational and memory requirements for training GNNs on large-scale graphs make it necessary to distribute the training. A prerequisite for distributed GNN training is to partition the input graph into smaller parts that are distributed among multiple machines of a compute cluster. Although graph partitioning has been studied with regard to graph analytics and graph databases, its effect on GNN training performance is largely unexplored. As a consequence, it is unclear whether investing computational efforts into high-quality graph partitioning would pay off in GNN training scenarios. In this paper, we study the effectiveness of graph partitioning for distributed GNN training. Our study aims to understand how different factors such as GNN parameters, mini-batch size, graph type, features size, and scale-out factor influence the effectiveness of graph partitioning. We conduct experiments with two different GNN systems using vertex and edge partitioning. We found that high-quality graph partitioning is a very effective optimization to speed up GNN training and to reduce memory consumption. Furthermore, our results show that invested partitioning time can quickly be amortized by reduced GNN training time, making it a relevant optimization for most GNN scenarios. Compared to research on distributed graph processing, our study reveals that graph partitioning plays an even more significant role in distributed GNN training, which motivates further research on the graph partitioning problem.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google