Just One Byte (per gradient): A Note on Low-Bandwidth Decentralized Language Model Finetuning Using Shared Randomness

要約

分散設定での言語モデルのトレーニングは、勾配交換の通信コストによって制限されます。
この短いメモでは、Malladi らの最近の研究を拡張します。
(2023)、共有ランダム性を使用して、低帯域幅で分散微調整を実行します。
この方法は、メモリ効率の高い同時摂動確率近似 (SPSA) の自然な分散型拡張です。
各反復では、各マシンが乱数ジェネレーター (RNG) をシードして、モデルの重みに対して局所的な再現可能な摂動を実行し、スカラー投影勾配を計算して交換します。その後、これらの勾配は各モデルの更新に使用されます。
(マシン、サンプル) 識別子をランダム シードとして使用することにより、各モデルは互いの摂動を再生成できます。
マシンはシングルバイトの投影された勾配のみを交換するため、通信効率が非常に高くなります。
また、投影された勾配が異なるトレーニング データに基づいて計算され、モデルが他のデータにアクセスすることがないため、潜在的なプライバシー上の利点もあります。
私たちのアプローチは、通信帯域幅要件を大幅に削減するだけでなく、トレーニング プロセス中のマシンの動的な追加または削除にも対応し、最近の研究のメモリ効率と推論のみの利点を維持します。
私たちは、分散最適化とメモリ効率の高いトレーニングに関する豊富な文献に基づいて、この方法の潜在的な有用性を実証するために概念実証実験を実行します。

要約(オリジナル)

Language model training in distributed settings is limited by the communication cost of gradient exchanges. In this short note, we extend recent work from Malladi et al. (2023), using shared randomness to perform distributed fine-tuning with low bandwidth. The method is a natural decentralized extension of memory-efficient Simultaneous Perturbation Stochastic Approximation (SPSA). Each iteration, each machine seeds a Random Number Generator (RNG) to perform local reproducible perturbations on model weights and calculate and exchange scalar projected gradients, which are then used to update each model. By using a (machine, sample) identifier as the random seed, each model can regenerate one another’s perturbations. As machines only exchange single-byte projected gradients, this is highly communication efficient. There are also potential privacy benefits, as projected gradients may be calculated on different training data, and models never access the other’s data. Our approach not only drastically reduces communication bandwidth requirements but also accommodates dynamic addition or removal of machines during the training process and retains the memory-efficient and inference-only advantages of recent work. We perform proof-of-concept experiments to demonstrate the potential usefulness of this method, building off of rich literature on distributed optimization and memory-efficient training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google