OSP: Boosting Distributed Model Training with 2-stage Synchronization

要約

分散ディープラーニング (DDL) は、大規模なデータセットとモデルを使用したディープラーニング タスクのトレーニングの効率を高めることを目的とした、有望な研究分野です。
DDL ノードの計算能力が向上し続けるにつれて、ノード間のネットワーク接続が大きなボトルネックになりつつあります。
パラメーター サーバー ベースの DDL におけるこのボトルネックに対処するために、勾配圧縮のさまざまな方法と改良されたモデル同期が提案されています。
ただし、これら 2 種類の方法では、勾配が破棄されるため精度が低下する可能性があり、モデル同期のスループットの向上には限界があります。
これらの課題に対処するために、オーバーラップ同期並列 (OSP) と呼ばれる新しいモデル同期方法を提案します。これは、2 段階の同期アプローチで効率的な通信を実現し、ローカル勾配ベースのパラメーター補正 (LGP) を使用して、古いことによる精度の損失を回避します。
パラメーター。
OSP のプロトタイプは PyTorch を使用して実装され、一般的に使用される深層学習モデルと 9 ノードのテストベッドを備えたデータセットで評価されました。
評価結果によると、OSP は一般的な同期モデルと比較して、精度を損なうことなくスループットを最大 50% 向上させることができます。

要約(オリジナル)

Distributed deep learning (DDL) is a promising research area, which aims to increase the efficiency of training deep learning tasks with large size of datasets and models. As the computation capability of DDL nodes continues to increase, the network connection between nodes is becoming a major bottleneck. Various methods of gradient compression and improved model synchronization have been proposed to address this bottleneck in Parameter-Server-based DDL. However, these two types of methods can result in accuracy loss due to discarded gradients and have limited enhancement on the throughput of model synchronization, respectively. To address these challenges, we propose a new model synchronization method named Overlapped Synchronization Parallel (OSP), which achieves efficient communication with a 2-stage synchronization approach and uses Local-Gradient-based Parameter correction (LGP) to avoid accuracy loss caused by stale parameters. The prototype of OSP has been implemented using PyTorch and evaluated on commonly used deep learning models and datasets with a 9-node testbed. Evaluation results show that OSP can achieve up to 50\% improvement in throughput without accuracy loss compared to popular synchronization models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google