Efficient Parallelization Layouts for Large-Scale Distributed Model Training

要約

大規模な言語モデルを効率的にトレーニングするには、数百のハードウェア アクセラレータ間で並列化し、さまざまなコンピューティングとメモリの最適化を呼び出す必要があります。
これらの戦略の多くを組み合わせると、最終的なトレーニング効率に関して複雑な相互作用が生じます。
この問題に取り組んだ以前の作業では、FlashAttendant やシーケンス並列処理などの最新の最適化セットにアクセスできませんでした。
この研究では、大規模な言語モデルに対して可能なトレーニング構成の包括的なアブレーション研究を実施します。
私たちはこの大規模な調査結果を、最も効率的なトレーニングのためのいくつかの重要な推奨事項にまとめました。
たとえば、通常、マイクロバッチ サイズ 1 を使用すると、最も効率的なトレーニング レイアウトが可能になることがわかりました。
マイクロバッチ サイズが大きくなると、アクティベーション チェックポイント処理または高度なモデル並列処理が必要になり、パイプライン バブルも大きくなります。
当社の最も効率的な構成により、さまざまなモデル サイズにわたって最先端のトレーニング効率の結果を達成できます。特に、Llama 13B モデルをトレーニングする際のモデル FLOP 使用率は 70.5% です。

要約(オリジナル)

Efficiently training large language models requires parallelizing across hundreds of hardware accelerators and invoking various compute and memory optimizations. When combined, many of these strategies have complex interactions regarding the final training efficiency. Prior work tackling this problem did not have access to the latest set of optimizations, such as FlashAttention or sequence parallelism. In this work, we conduct a comprehensive ablation study of possible training configurations for large language models. We distill this large study into several key recommendations for the most efficient training. For instance, we find that using a micro-batch size of 1 usually enables the most efficient training layouts. Larger micro-batch sizes necessitate activation checkpointing or higher degrees of model parallelism and also lead to larger pipeline bubbles. Our most efficient configurations enable us to achieve state-of-the-art training efficiency results over a range of model sizes, most notably a Model FLOPs utilization of 70.5% when training a Llama 13B model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google