Exact Aggregation for Federated and Efficient Fine-Tuning of Foundation Models

要約

低ランク適応 (LoRA) は、基礎モデルを効率的に微調整するための一般的な手法です。
ただし、データが複数のクライアントに分散されるフェデレーテッド ラーニング環境に LoRA を適用すると、特有の課題が生じます。
既存の方法は、LoRA アダプターの従来のフェデレーテッド平均化に依存しているため、不正確な更新が発生します。
これに対処するために、事前学習された凍結重み行列に残差項を追加する Federated Exact LoRA (FedExLoRA) を提案します。
私たちのアプローチは、最小限の計算と通信のオーバーヘッドで正確な更新を実現し、LoRA の効率を維持します。
私たちは、算術推論、常識的推論、自然言語理解、自然言語生成タスクにわたるさまざまなモデルでメソッドを評価し、複数の設定にわたって最先端のメソッドよりも一貫したパフォーマンスの向上を示しています。
広範な分析を通じて、理想的なソリューションからの更新の乖離が大きいことを定量化し、正確な集計の必要性を強調しています。
私たちの手法のシンプルさ、効率性、幅広い適用性により、基礎モデルの正確かつ効果的なフェデレーテッド微調整のための有望なソリューションとして位置づけられています。
私たちのコードは https://github.com/RaghavSinghal10/fedex-lora で公開されています。

要約(オリジナル)

Low-Rank Adaptation (LoRA) is a popular technique for efficient fine-tuning of foundation models. However, applying LoRA in federated learning environments, where data is distributed across multiple clients, presents unique challenges. Existing methods rely on traditional federated averaging of LoRA adapters, resulting in inexact updates. To address this, we propose Federated Exact LoRA, or FedExLoRA, which adds a residual error term to the pretrained frozen weight matrix. Our approach achieves exact updates with minimal computational and communication overhead, preserving LoRA’s efficiency. We evaluate the method on various models across arithmetic reasoning, commonsense reasoning, natural language understanding and natural language generation tasks, showing consistent performance gains over state-of-the-art methods across multiple settings. Through extensive analysis, we quantify that the deviations in updates from the ideal solution are significant, highlighting the need for exact aggregation. Our method’s simplicity, efficiency, and broad applicability position it as a promising solution for accurate and effective federated fine-tuning of foundation models. Our code is publicly available at https://github.com/RaghavSinghal10/fedex-lora.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google