Federated Full-Parameter Tuning of Billion-Sized Language Models with Communication Cost under 18 Kilobytes

要約

事前トレーニングされた大規模言語モデル (LLM) は、自然言語命令に対する応答性を向上させるために微調整する必要があります。
フェデレーション ラーニングは、データ プライバシーを損なうことなく、エンド デバイス上の豊富なデータを使用して LLM を微調整する方法を提供します。
LLM の既存の連合微調整方法のほとんどは、パラメータ効率の高い微調整手法に依存しているため、フルパラメータ調整で可能なパフォーマンスの高さに達しない可能性があります。
ただし、LLM のフェデレーションによるフルパラメータ調整は、膨大な通信コストのため、簡単な問題ではありません。
この研究では、ランダム シードの有限セットを使用した 0 次最適化を採用する FedKSeed を導入します。
これにより、サーバーとクライアント間の送信要件がわずか数個のランダム シードとスカラー勾配 (わずか数千バイト) にまで大幅に削減され、デバイス上で 10 億サイズの LLM のフェデレーションによるフルパラメータ調整が可能になります。
これに基づいて、確率微分シード サンプリングを可能にし、モデルの精度に大きな影響を与える摂動を優先する戦略を開発します。
さまざまな LLM、データセット、データ パーティションを使用した 6 つのシナリオにわたる実験では、通信効率と新しいタスクの一般化の両方において、私たちのアプローチが既存のフェデレーテッド LLM 微調整方法よりも優れていることが実証されました。

要約(オリジナル)

Pre-trained large language models (LLMs) need fine-tuning to improve their responsiveness to natural language instructions. Federated learning offers a way to fine-tune LLMs using the abundant data on end devices without compromising data privacy. Most existing federated fine-tuning methods for LLMs rely on parameter-efficient fine-tuning techniques, which may not reach the performance height possible with full-parameter tuning. However, federated full-parameter tuning of LLMs is a non-trivial problem due to the immense communication cost. This work introduces FedKSeed that employs zeroth-order optimization with a finite set of random seeds. It significantly reduces transmission requirements between the server and clients to just a few random seeds and scalar gradients, amounting to only a few thousand bytes, making federated full-parameter tuning of billion-sized LLMs possible on devices. Building on it, we develop a strategy enabling probability-differentiated seed sampling, prioritizing perturbations with greater impact on model accuracy. Experiments across six scenarios with various LLMs, datasets and data partitions demonstrate that our approach outperforms existing federated LLM fine-tuning methods in both communication efficiency and new task generalization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google