AFLoRA: Adaptive Federated Fine-Tuning of Large Language Models with Resource-Aware Low-Rank Adaption

要約

フェデレーションされた微調整は、分散データを使用して基礎モデルを下流のタスクに適応させる有望なアプローチとして浮上しています。
ただし、不均一で制約されたデータとシステムリソースを備えたクライアントに対する微調整の大規模な言語モデル（LLM）の計算およびコミュニケーションの需要が高いため、実際の展開は依然として困難です。
このような設定では、グローバルモデルのパフォーマンスは、多くの場合、最も弱いクライアントによってボトルネックされており、ローカルデータの非IID性によってさらに劣化します。
既存の方法は、通信と計算のオーバーヘッドを減らすために低ランク適応（LORA）などのパラメーター効率の高い手法を活用していますが、低ランクの更新の正確な集約を保証し、低システムコストを維持し、それによって全体的なパフォーマンスを妨げることがよくあります。
これらの課題に対処するために、LLMSの適応的で軽量のフェデレーション微調整フレームワークであるAfloraを提案します。
Afloraは、共有およびクライアント固有の更新を切り離してオーバーヘッドを削減し、集約精度を向上させ、斜めのマトリックスベースのランクプルーニングを組み込んでローカルリソースをよりよく利用し、データの不均一性の下での一般化を強化するためにパブリックデータの改良を伴うランク認識集合体を採用します。
広範な実験は、Afloraが精度と効率の両方で最先端の方法よりも優れていることを示しており、現実世界の不均一な環境での効率的なLLM適応のための実用的なソリューションを提供します。

要約(オリジナル)

Federated fine-tuning has emerged as a promising approach to adapt foundation models to downstream tasks using decentralized data. However, real-world deployment remains challenging due to the high computational and communication demands of fine-tuning Large Language Models (LLMs) on clients with data and system resources that are heterogeneous and constrained. In such settings, the global model’s performance is often bottlenecked by the weakest clients and further degraded by the non-IID nature of local data. Although existing methods leverage parameter-efficient techniques such as Low-Rank Adaptation (LoRA) to reduce communication and computation overhead, they often fail to simultaneously ensure accurate aggregation of low-rank updates and maintain low system costs, thereby hindering overall performance. To address these challenges, we propose AFLoRA, an adaptive and lightweight federated fine-tuning framework for LLMs. AFLoRA decouples shared and client-specific updates to reduce overhead and improve aggregation accuracy, incorporates diagonal matrix-based rank pruning to better utilize local resources, and employs rank-aware aggregation with public data refinement to strengthen generalization under data heterogeneity. Extensive experiments demonstrate that AFLoRA outperforms state-of-the-art methods in both accuracy and efficiency, providing a practical solution for efficient LLM adaptation in heterogeneous environments in the real world.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google