MEFT: Memory-Efficient Fine-Tuning through Sparse Adapter

要約

Parameter-Efficient Fine-tuning (PEFT) は、限られたリソースの下で大規模言語モデル (LLM) の微調整を容易にします。
ただし、複雑で知識集約的なタスクに対する PEFT の微調整パフォーマンスは、追加のトレーニング可能なパラメーターの数が限られていることに起因するモデルの容量の制約により制限されます。
この制限を克服するために、より大きなサイズでありながらメモリ効率の高いアダプターを使用して LLM を微調整する新しいメカニズムを導入します。
これは、LLM のフィードフォワード ネットワーク (FFN) に固有のアクティベーション スパース性を利用し、グラフィックス プロセッシング ユニット (GPU) と比較して大容量の中央処理装置 (CPU) メモリを利用することによって実現されます。
より大きなアダプターのパラメーターを CPU に保存して更新します。
さらに、Mixture of Experts (MoE) のようなアーキテクチャを採用して、不必要な CPU 計算を軽減し、GPU と CPU 間の通信量を削減します。
これは、PCI Express (PCIe) の限られた帯域幅で特に有益です。
私たちの方法は、24 GB メモリのシングル GPU セットアップなど、より限られたリソースの下で動作する場合でも、トレーニング効率の許容範囲内の損失で、より大きなメモリ容量で得られる結果と同等の微調整結果を達成できます。
コードは https://github.com/CURRENTF/MEFT で入手できます。

要約(オリジナル)

Parameter-Efficient Fine-tuning (PEFT) facilitates the fine-tuning of Large Language Models (LLMs) under limited resources. However, the fine-tuning performance with PEFT on complex, knowledge-intensive tasks is limited due to the constrained model capacity, which originates from the limited number of additional trainable parameters. To overcome this limitation, we introduce a novel mechanism that fine-tunes LLMs with adapters of larger size yet memory-efficient. This is achieved by leveraging the inherent activation sparsity in the Feed-Forward Networks (FFNs) of LLMs and utilizing the larger capacity of Central Processing Unit (CPU) memory compared to Graphics Processing Unit (GPU). We store and update the parameters of larger adapters on the CPU. Moreover, we employ a Mixture of Experts (MoE)-like architecture to mitigate unnecessary CPU computations and reduce the communication volume between the GPU and CPU. This is particularly beneficial over the limited bandwidth of PCI Express (PCIe). Our method can achieve fine-tuning results comparable to those obtained with larger memory capacities, even when operating under more limited resources such as a 24GB memory single GPU setup, with acceptable loss in training efficiency. Our codes are available at https://github.com/CURRENTF/MEFT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google