DES-LOC: Desynced Low Communication Adaptive Optimizers for Training Foundation Models

要約

分散データパラレル（DDP）メソッドを使用したスケーリングファンデーションモデルトレーニングは、帯域幅が制限されています。
ローカルSGDのような既存のまれな通信方法は、モデルパラメーターのみを同期するように設計されており、追加のオプティマイザー状態により、適応オプティマイザーに簡単に適用することはできません。
ローカルSGDを拡張する現在のアプローチは、収束保証がないか、すべてのオプティマイザー状態を同期させ、通信コストを3倍にする必要があります。
独立した同期期間をパラメーターとモーメンタに割り当てる最適化装置のファミリである低通信適応オプティマイザー（DES-LOC）を解除し、収束を維持しながら通信コストを削減できることを提案します。
最大1.7Bの言語モデルに関する広範な実験を通じて、DES-LOCがDDPよりも170倍少なく、以前の最先端の地元のAdamよりも2倍少ないことを示しています。
さらに、以前のヒューリスティックアプローチとは異なり、DES-LOCは、システム障害に起因する実用的なトレーニングシナリオに適しています。
DES-LOCは、基礎モデルトレーニングのために、スケーラブルで帯域幅効率が高く、断層耐性ソリューションを提供します。

要約(オリジナル)

Scaling foundation model training with Distributed Data Parallel (DDP) methods is bandwidth-limited. Existing infrequent communication methods like Local SGD were designed to synchronize only model parameters and cannot be trivially applied to adaptive optimizers due to additional optimizer states. Current approaches extending Local SGD either lack convergence guarantees or require synchronizing all optimizer states, tripling communication costs. We propose Desynced Low Communication Adaptive Optimizers (DES-LOC), a family of optimizers assigning independent synchronization periods to parameters and momenta, enabling lower communication costs while preserving convergence. Through extensive experiments on language models of up to 1.7B, we show that DES-LOC can communicate 170x less than DDP and 2x less than the previous state-of-the-art Local ADAM. Furthermore, unlike previous heuristic approaches, DES-LOC is suited for practical training scenarios prone to system failures. DES-LOC offers a scalable, bandwidth-efficient, and fault-tolerant solution for foundation model training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google