Demystifying the Communication Characteristics for Distributed Transformer Models

要約

トランスフォーマー アーキテクチャに基づくディープ ラーニング (DL) モデルは、大規模言語モデル (LLM)、ビジョン トランスフォーマー、オーディオ生成、時系列予測などの多くの DL アプリケーションに革命をもたらしました。
この進歩の多くは分散トレーニングによって促進されていますが、分散コミュニケーションは依然としてトレーニングの進歩に対する大きなボトルネックとなっています。
このペーパーでは、トランスフォーマー モデルの通信動作、つまりマルチノード/マルチ GPU DL トレーニングで使用されるさまざまな並列スキームがトランスフォーマーのコンテキストでデータをどのように通信するかを検証します。
GPT ベースの言語モデルは遍在しているため、トランスフォーマー アーキテクチャのケーススタディとして使用します。
通信ログから得られた実証結果を分析モデルを使用して検証します。
大まかに言えば、私たちの分析は、小さなメッセージのポイントツーポイント通信をさらに最適化する必要性、シーケンスの長さ、GPU ごとのスループット、モデル サイズ、使用される最適化の間の相関関係、およびフレームワークと HPC のさらなる最適化を潜在的に導く場所を明らかにしています。
ミドルウェアの設計と最適化。

要約(オリジナル)

Deep learning (DL) models based on the transformer architecture have revolutionized many DL applications such as large language models (LLMs), vision transformers, audio generation, and time series prediction. Much of this progress has been fueled by distributed training, yet distributed communication remains a substantial bottleneck to training progress. This paper examines the communication behavior of transformer models – that is, how different parallelism schemes used in multi-node/multi-GPU DL Training communicate data in the context of transformers. We use GPT-based language models as a case study of the transformer architecture due to their ubiquity. We validate the empirical results obtained from our communication logs using analytical models. At a high level, our analysis reveals a need to optimize small message point-to-point communication further, correlations between sequence length, per-GPU throughput, model size, and optimizations used, and where to potentially guide further optimizations in framework and HPC middleware design and optimization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google