DropBP: Accelerating Fine-Tuning of Large Language Models by Dropping Backward Propagation

要約

大規模な言語モデル（LLM）は、さまざまなドメインで大きな成功を収めています。
ただし、これらのLLMのトレーニングには、通常、前方および後方の伝播の両方で、実質的なメモリと計算コストが含まれます。
パラメーター効率の高い微調整（PEFT）は、パラメーターに関連付けられたトレーニングメモリを大幅に減らしますが、重要な計算コストとアクティベーションメモリに対処しません。
この論文では、精度を維持しながら計算コストとアクティベーションメモリを削減するために設計された新しいアプローチである、逆方向の伝播（DROPBP）のドロップを提案します。
DROPBPは、後方伝播中に層をランダムにドロップします。これは、非繰り返しの層と残留接続によって生成される浅いサブモジュールのトレーニングと本質的に同等です。
さらに、DROPBPは各レイヤーの感度を計算して適切なドロップレートを割り当て、それによりトレーニングプロセスを安定させます。
DROPBPは、完全な微調整に適用できるだけでなく、後方伝播中に層を落とすことにより、すべてのタイプのPEFTと直交することもできます。
具体的には、DROPBPは、ベースラインに匹敵する精度でトレーニング時間を44％短縮し、同じ困惑への収束を1.5倍に加速させ、単一のNVIDIA-A100 GPUで6.2倍大きいシーケンス長でトレーニングを可能にします。
さらに、当社のDROPBPは、NVIDIA A100 GPUで79％、Intel Gaudi2 HPUで117％のスループット増加を可能にしました。
このコードは、https：//github.com/woosunghyeon/dropbpで入手できます。

要約(オリジナル)

Large language models (LLMs) have achieved significant success across various domains. However, training these LLMs typically involves substantial memory and computational costs during both forward and backward propagation. While parameter-efficient fine-tuning (PEFT) considerably reduces the training memory associated with parameters, it does not address the significant computational costs and activation memory. In this paper, we propose Dropping Backward Propagation (DropBP), a novel approach designed to reduce computational costs and activation memory while maintaining accuracy. DropBP randomly drops layers during backward propagation, which is essentially equivalent to training shallow submodules generated by undropped layers and residual connections. Additionally, DropBP calculates the sensitivity of each layer to assign an appropriate drop rate, thereby stabilizing the training process. DropBP is not only applicable to full fine-tuning but can also be orthogonally integrated with all types of PEFT by dropping layers during backward propagation. Specifically, DropBP can reduce training time by 44% with comparable accuracy to the baseline, accelerate convergence to the same perplexity by 1.5x, and enable training with a sequence length 6.2x larger on a single NVIDIA-A100 GPU. Furthermore, our DropBP enabled a throughput increase of 79% on a NVIDIA A100 GPU and 117% on an Intel Gaudi2 HPU. The code is available at https://github.com/WooSunghyeon/dropbp.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google