Federated Fine-tuning of Large Language Models under Heterogeneous Tasks and Client Resources

要約

Federated Learning (FL) は最近、大規模言語モデル (LLM) のパラメーター効率の高い微調整に適用されています。
これは有望ではありますが、クライアントのリソースとデータの分散が異種であるため、重大な課題が生じます。
この研究では、LLM 微調整のためのシンプルかつ効果的な集約スキームである FlexLoRA を導入します。これは、リソースが最も少ない参加者の能力にクライアントを結び付けることで、十分なリソースを持つクライアントの可能性を制限する従来の FL の「バケット効果」を軽減します。
。
FlexLoRA を使用すると、ローカル LoRA ランクを動的に調整でき、より広範でタスク固有の知識が組み込まれたグローバル モデルの開発が促進されます。
個々のクライアントの貢献からフルサイズの LoRA 重みを合成し、重みの再配分に特異値分解 (SVD) を採用することにより、FlexLoRA は異種クライアント リソースを最大限に活用します。
異種混合の NLP タスクとクライアント リソースを実行する何千ものクライアントが関与する当社の実験では、フェデレーテッド グローバル モデルにより、さまざまな異種混合ディストリビューションにわたってダウンストリーム NLP タスクのパフォーマンスにおいて SOTA FL メソッドよりも一貫して優れた改善を達成し、FlexLoRA の有効性を検証しました。
FlexLoRA の実用性は、当社の理論分析と既存の LoRA ベースの FL 手法とのシームレスな統合によってさらに強調され、LLM 向けのクロスデバイスでプライバシーを保護するフェデレーション チューニングへの道を提供します。

要約(オリジナル)

Federated Learning (FL) has recently been applied to the parameter-efficient fine-tuning of Large Language Models (LLMs). While promising, it raises significant challenges due to the heterogeneous resources and data distributions of clients. This study introduces FlexLoRA, a simple yet effective aggregation scheme for LLM fine-tuning, which mitigates the “bucket effect” in traditional FL that restricts the potential of clients with ample resources by tying them to the capabilities of the least-resourced participants. FlexLoRA allows for dynamic adjustment of local LoRA ranks, fostering the development of a global model imbued with broader, less task-specific knowledge. By synthesizing a full-size LoRA weight from individual client contributions and employing Singular Value Decomposition (SVD) for weight redistribution, FlexLoRA fully leverages heterogeneous client resources. Involving thousands of clients performing heterogeneous NLP tasks and client resources, our experiments validate the efficacy of FlexLoRA, with the federated global model achieving consistently better improvement over SOTA FL methods in downstream NLP task performance across various heterogeneous distributions. FlexLoRA’s practicality is further underscored by our theoretical analysis and its seamless integration with existing LoRA-based FL methods, offering a path toward cross-device, privacy-preserving federated tuning for LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google