Communication-Efficient Distributed Deep Learning: A Comprehensive Survey

要約

分散型ディープラーニング（DL）は、モデルやデータセットの大規模化に伴い、複数のコンピューティングデバイス（GPU/TPUなど）を活用して学習時間を短縮するために近年普及している。しかし、通信が性能のボトルネックとなることで、システムのスケーラビリティは制限される。この通信問題に対処することは、重要な研究テーマとなっています。本論文では、システムレベルとアルゴリズムレベルの両方の最適化に焦点を当て、通信効率の高い分散学習アルゴリズムの包括的なサーベイを行う。まず、データ並列分散トレーニングアルゴリズムの分類法を提案する。この分類法は、通信の同期、システムアーキテクチャ、圧縮技術、通信タスクと計算タスクの並列性という4つの主要な次元を組み込んでいる。次に、これら4つの次元の問題に取り組む最先端の研究を調査する。また、異なるアルゴリズムの収束速度を比較し、その収束速度を理解する。さらに、様々な主流の分散訓練アルゴリズムの収束性能を実証的に比較するために、広範な実験を行う。システムレベルの通信コスト分析、理論的および実験的な収束速度の比較に基づき、特定の分散環境下でどのアルゴリズムがより効率的であるかを読者に理解してもらう。また、我々の研究は、さらなる最適化のための潜在的な方向性を外挿する。

要約(オリジナル)

Distributed deep learning (DL) has become prevalent in recent years to reduce training time by leveraging multiple computing devices (e.g., GPUs/TPUs) due to larger models and datasets. However, system scalability is limited by communication becoming the performance bottleneck. Addressing this communication issue has become a prominent research topic. In this paper, we provide a comprehensive survey of the communication-efficient distributed training algorithms, focusing on both system-level and algorithmic-level optimizations. We first propose a taxonomy of data-parallel distributed training algorithms that incorporates four primary dimensions: communication synchronization, system architectures, compression techniques, and parallelism of communication and computing tasks. We then investigate state-of-the-art studies that address problems in these four dimensions. We also compare the convergence rates of different algorithms to understand their convergence speed. Additionally, we conduct extensive experiments to empirically compare the convergence performance of various mainstream distributed training algorithms. Based on our system-level communication cost analysis, theoretical and experimental convergence speed comparison, we provide readers with an understanding of which algorithms are more efficient under specific distributed environments. Our research also extrapolates potential directions for further optimizations.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL