DEFT: Exploiting Gradient Norm Difference between Model Layers for Scalable Gradient Sparsification

要約

勾配スパース化は、分散ディープラーニングにおける過剰な通信トラフィックを削減するために広く採用されているソリューションです。
しかし、既存の勾配スパースファイアのほとんどは、勾配選択にかなりの計算コストがかかることや、勾配の蓄積による通信トラフィックの増加により、スケーラビリティが比較的劣っています。
これらの課題に対処するために、勾配選択タスクをサブタスクに分割し、それらをワーカーに分配する新しい勾配スパース化スキーム DEFT を提案します。
DEFT は、すべてのワーカーがすべての勾配の中から勾配を選択する既存のスパーシファイアとは異なります。
したがって、ワーカーの数が増えるにつれて計算コストを削減できます。
さらに、DEFT を使用すると、ワーカーは交差しない (ワーカー間で) パーティション内の勾配を選択できるため、勾配の蓄積を排除できます。
そのため、ワーカー数が増加しても、ユーザーの要求に応じた通信トラフィックを維持できます。
勾配選択の重要性の損失を避けるために、DEFT は他のレイヤーよりも大きな勾配ノルムを持つレイヤーでより多くの勾配を選択します。
各レイヤーの計算負荷は異なるため、DEFT はビンパッキング アルゴリズムを使用してレイヤーをワーカーに割り当て、ワーカー間の勾配選択の負荷のバランスを維持します。
私たちの経験的評価では、DEFT は既存のスパーシファイアと比較して、勾配選択の速度の点でトレーニング パフォーマンスが大幅に向上し、同時に高い収束パフォーマンスを達成していることがわかりました。

要約(オリジナル)

Gradient sparsification is a widely adopted solution for reducing the excessive communication traffic in distributed deep learning. However, most existing gradient sparsifiers have relatively poor scalability because of considerable computational cost of gradient selection and/or increased communication traffic owing to gradient build-up. To address these challenges, we propose a novel gradient sparsification scheme, DEFT, that partitions the gradient selection task into sub tasks and distributes them to workers. DEFT differs from existing sparsifiers, wherein every worker selects gradients among all gradients. Consequently, the computational cost can be reduced as the number of workers increases. Moreover, gradient build-up can be eliminated because DEFT allows workers to select gradients in partitions that are non-intersecting (between workers). Therefore, even if the number of workers increases, the communication traffic can be maintained as per user requirement. To avoid the loss of significance of gradient selection, DEFT selects more gradients in the layers that have a larger gradient norm than the other layers. Because every layer has a different computational load, DEFT allocates layers to workers using a bin-packing algorithm to maintain a balanced load of gradient selection between workers. In our empirical evaluation, DEFT shows a significant improvement in training performance in terms of speed in gradient selection over existing sparsifiers while achieving high convergence performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google