MixGCN: Scalable GCN Training by Mixture of Parallelism and Mixture of Accelerators

要約

グラフ畳み込みネットワーク (GCN) は、グラフベースの学習タスクにおいて優れていることが実証されています。
ただし、完全なグラフで GCN をトレーニングすることは、次の 2 つの課題があるため、特に困難です。(1) 関連する特徴テンソルはメモリを簡単に爆発させ、最新のアクセラレータの通信帯域幅をブロックする可能性があります。(2) GCN 代替トレーニングの計算ワークフロー
疎行列演算と密行列演算の間での違いが生じ、計算リソースの効率的な利用が複雑になります。
スケーラブルな分散フルグラフ GCN トレーニングの既存のソリューションは、ほとんどがパーティション並列処理を採用していますが、スケールアウトされた通信量が発生する一方で、最初の課題を部分的にしか解決できないため、満足のいくものではありません。
この目的を達成するために、GCN トレーニングに対する前述の両方の課題に同時に対処することを目的とした MixGCN を提案します。
最初の課題に取り組むために、MixGCN は並列処理の混合を統合します。
理論分析と実証分析の両方で、一定の通信量と強化されたバランスのとれたワークロードが検証されています。
2 番目の課題に対処するために、アクセラレータ (つまり、疎アクセラレータと密アクセラレータ) と、GCN トレーニング用の専用アクセラレータおよびきめの細かいパイプラインの混合を検討します。
広範な実験により、MixGCN がトレーニング効率とスケーラビリティの向上を達成することが示されています。

要約(オリジナル)

Graph convolutional networks (GCNs) have demonstrated superiority in graph-based learning tasks. However, training GCNs on full graphs is particularly challenging, due to the following two challenges: (1) the associated feature tensors can easily explode the memory and block the communication bandwidth of modern accelerators, and (2) the computation workflow in training GCNs alternates between sparse and dense matrix operations, complicating the efficient utilization of computational resources. Existing solutions for scalable distributed full-graph GCN training mostly adopt partition parallelism, which is unsatisfactory as they only partially address the first challenge while incurring scaled-out communication volume. To this end, we propose MixGCN aiming to simultaneously address both the aforementioned challenges towards GCN training. To tackle the first challenge, MixGCN integrates mixture of parallelism. Both theoretical and empirical analysis verify its constant communication volumes and enhanced balanced workload; For handling the second challenge, we consider mixture of accelerators (i.e., sparse and dense accelerators) with a dedicated accelerator for GCN training and a fine-grain pipeline. Extensive experiments show that MixGCN achieves boosted training efficiency and scalability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google