Why Gradient Subspace? Identifying and Mitigating LoRA’s Bottlenecks in Federated Fine-Tuning of Large Language Models

要約

大規模言語モデル (LLM) は、さまざまなドメインにわたって、特にテキスト データとビジョン データの両方のタスクの一般化において顕著な機能を実証してきました。
これらのモデルを微調整すると、特定の下流タスクのパフォーマンスを大幅に向上させることができますが、多くの場合、プライバシー上の懸念から共有できない高品質のデータが必要になります。
Federated Learning (FL) は、データを直接共有せずに共同トレーニングを行うための有望なソリューションを提供します。
ただし、フロリダ州の LLM のパラメータ効率の高い微調整戦略の多く、特に低ランク適応 (LoRA) に基づく戦略は限界に直面しています。
この論文では、LoRA を利用した一般的な FL フレームワークの収束とパフォーマンス保証を批判的に分析し、低ランク行列の制約された部分空間学習による次善の性質を強調します。
この制限により、フェデレーション設定での LLM の効果的な微調整が妨げられます。
厳密な分析および経験的評価を通じて、直接重み平均化が LoRA ベースの戦略を上回り、微調整されたモデルの優れたパフォーマンスにつながることを実証しました。
私たちの包括的な比較により、LoRA アプローチの非効率性が明らかになり、直接重み集計の利点が強調されます。
分析を、ローカル トレーニング ステップ中に使用される GaLore などの低ランクの勾配ベースのオプティマイザーに拡張します。
私たちの調査結果は、GaLore がより効果的な代替手段であり、テキストと画像の両方のモダリティにわたって FlexLoRA や FFA-LoRA などのフェデレーテッド LoRA 手法よりも優れていることを示しています。
FL の議論ではプライバシーが依然として最優先されていますが、私たちの焦点は、フェデレーテッド微調整モデルのパフォーマンス結果を評価し、理論的および経験的観点の両方からさまざまな FL フレームワークを評価することにあります。
私たちの調査結果は、フロリダ州の状況内で LoRA への依存を再評価し、より効率的なトレーニング方法論への道を開くことを提唱しています。

要約(オリジナル)

Large Language Models (LLMs) have demonstrated remarkable capabilities across various domains, particularly in task generalization for both text and vision data. While fine-tuning these models can significantly enhance their performance on specific downstream tasks, it often requires high-quality data that cannot be shared due to privacy concerns. Federated Learning (FL) offers a promising solution for collaborative training without direct data sharing. However, many parameter-efficient fine-tuning strategies for LLMs in FL, particularly those based on Low-Rank Adaptation (LoRA), face limitations. In this paper, we critically analyze the convergence and performance guarantees of popular FL frameworks utilizing LoRA, highlighting its suboptimal nature due to constrained subspace learning of low-rank matrices. This limitation hinders effective fine-tuning of LLMs in federated settings. Through rigorous analytical and empirical evaluations, we demonstrate that direct weight averaging outperforms LoRA-based strategies, leading to superior performance for fine-tuned models. Our comprehensive comparison exposes inefficiencies in LoRA approaches and underscores the advantages of direct weight aggregation. We extend our analysis to low-rank gradient-based optimizers, such as GaLore, used during local training steps. Our findings show that GaLore is a more effective alternative, outperforming federated LoRA methods like FlexLoRA and FFA-LoRA across both text and image modalities. While privacy remains paramount in FL discourse, our focus is on assessing performance outcomes of federated fine-tuned models and evaluating various FL frameworks from both theoretical and empirical perspectives. Our findings advocate reassessing the reliance on LoRA within FL contexts, paving the way for more efficient training methodologies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google