DGC: Training Dynamic Graphs with Spatio-Temporal Non-Uniformity using Graph Partitioning by Chunks

要約

ダイナミック グラフ ニューラル ネットワーク (DGNN) は、空間的特徴と時間的特徴の両方を利用して動的グラフを学習する強力な機能を示しています。
DGNN は最近 AI コミュニティで大きな注目を集めており、さまざまな DGNN モデルが提案されていますが、効率的な DGNN トレーニングのための分散システムを構築することは依然として困難です。
動的グラフを分割し、ワークロードを複数の GPU に割り当てる方法が、トレーニングの高速化において重要な役割を果たすことがよく認識されています。
既存の研究では、動的グラフをスナップショットまたは時間シーケンスに分割しますが、これはグラフが均一な時空間構造を持っている場合にのみうまく機能します。
ただし、実際の動的グラフは均一に構造化されておらず、非常に密なスナップショットもあれば、疎なスナップショットもあります。
この問題に対処するために、私たちは、最先端のテストベッドと比較して 1.25 倍から 7.52 倍の高速化を達成する分散 DGNN トレーニング システムである DGC を提案します。
DGC の成功は、動的グラフをチャンクに分割する新しいグラフ分割方法に由来します。チャンクは、基本的にトレーニング ワークロードが控えめで相互接続がほとんどないサブグラフです。
この分割アルゴリズムはグラフの粗化に基づいており、大きなグラフでは非常に高速に実行できます。
さらに、DGC は、提案されたチャンク フュージョンおよび適応型の古い集約技術を活用した、非常に効率的なランタイムを実現します。
DGC の有効性を示すために、3 つの典型的な DGNN モデルと 4 つの一般的な動的グラフ データセットに関する広範な実験結果が示されています。

要約(オリジナル)

Dynamic Graph Neural Network (DGNN) has shown a strong capability of learning dynamic graphs by exploiting both spatial and temporal features. Although DGNN has recently received considerable attention by AI community and various DGNN models have been proposed, building a distributed system for efficient DGNN training is still challenging. It has been well recognized that how to partition the dynamic graph and assign workloads to multiple GPUs plays a critical role in training acceleration. Existing works partition a dynamic graph into snapshots or temporal sequences, which only work well when the graph has uniform spatio-temporal structures. However, dynamic graphs in practice are not uniformly structured, with some snapshots being very dense while others are sparse. To address this issue, we propose DGC, a distributed DGNN training system that achieves a 1.25x – 7.52x speedup over the state-of-the-art in our testbed. DGC’s success stems from a new graph partitioning method that partitions dynamic graphs into chunks, which are essentially subgraphs with modest training workloads and few inter connections. This partitioning algorithm is based on graph coarsening, which can run very fast on large graphs. In addition, DGC has a highly efficient run-time, powered by the proposed chunk fusion and adaptive stale aggregation techniques. Extensive experimental results on 3 typical DGNN models and 4 popular dynamic graph datasets are presented to show the effectiveness of DGC.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google