GSplit: Scaling Graph Neural Network Training on Large Graphs via Split-Parallelism

要約

グラフ ニューラル ネットワーク (GNN) は、グラフ用の機械学習モデルの新しいクラスであり、さまざまなグラフ分析タスクにおける優れたパフォーマンスで人気を集めています。
ミニバッチ トレーニングは、大規模なグラフで GNN をトレーニングするために一般的に使用され、データ並列処理は、複数の GPU にわたってミニバッチ トレーニングをスケールするための標準的なアプローチです。
GNN トレーニングにおける主なパフォーマンス コストの 1 つは入力特徴の読み込みであり、これにより GPU が完全に活用されなくなります。
この論文では、この問題はデータ並列アプローチに固有の冗長性によって悪化すると主張します。
この問題に対処するために、分割並列処理と呼ばれるハイブリッド並列ミニバッチ トレーニング パラダイムを導入します。
分割並列処理により、冗長なデータのロードが回避され、軽量の分割アルゴリズムを使用して、反復ごとにオンラインの複数の GPU に各ミニバッチのサンプリングとトレーニングが分割されます。
GSplit に分割並列処理を実装し、DGL、Quiver、$P^3$ などの最先端のミニバッチ トレーニング システムよりも優れたパフォーマンスを発揮することを示します。

要約(オリジナル)

Graph neural networks (GNNs), an emerging class of machine learning models for graphs, have gained popularity for their superior performance in various graph analytical tasks. Mini-batch training is commonly used to train GNNs on large graphs, and data parallelism is the standard approach to scale mini-batch training across multiple GPUs. One of the major performance costs in GNN training is the loading of input features, which prevents GPUs from being fully utilized. In this paper, we argue that this problem is exacerbated by redundancies that are inherent to the data parallel approach. To address this issue, we introduce a hybrid parallel mini-batch training paradigm called split parallelism. Split parallelism avoids redundant data loads and splits the sampling and training of each mini-batch across multiple GPUs online, at each iteration, using a lightweight splitting algorithm. We implement split parallelism in GSplit and show that it outperforms state-of-the-art mini-batch training systems like DGL, Quiver, and $P^3$.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google