LoRA-FAIR: Federated LoRA Fine-Tuning with Aggregation and Initialization Refinement

要約

基礎モデル (FM) は、タスク固有の微調整により、さまざまなタスクにわたって優れたパフォーマンスを実現しますが、大規模なモデルの場合、完全なパラメーターの微調整は多くの場合、計算量が法外です。
低ランク適応 (LoRA) のようなパラメータ効率の良い微調整 (PEFT) 手法は、より少ないパラメータを調整するための低ランク行列を導入することでこのコストを削減します。
LoRA では効率的な微調整が可能ですが、適応には大量のデータが必要となるため、プライバシーを保護する共同フレームワークにより Federated Learning (FL) が魅力的なソリューションとなります。
ただし、LoRA と FL を組み合わせると、2 つの重要な課題が生じます。1 つは、サーバー側での LoRA 行列の平均化が理想的なグローバル更新から乖離する \textbf{サーバー側 LoRA 集計バイアス}、もう 1 つは \textbf{クライアント側 LoRA 初期化ドリフト}です。
、ラウンド全体にわたって一貫した初期化の必要性を強調しています。
既存のアプローチはこれらの課題に個別に対処しており、その有効性は限られています。
私たちは、元の LoRA モジュールを維持しながらサーバーに補正項を導入することで両方の問題に取り組み、集計効率と精度を向上させる新しい手法である LoRA-FAIR を提案します。
LoRA-FAIR は計算効率と通信効率を維持し、最先端の方法よりも優れたパフォーマンスをもたらします。
大規模なデータセットにわたる ViT および MLP-Mixer モデルの実験結果は、LoRA-FAIR が FL 設定で一貫してパフォーマンスの向上を達成していることを示しています。

要約(オリジナル)

Foundation models (FMs) achieve strong performance across diverse tasks with task-specific fine-tuning, yet full parameter fine-tuning is often computationally prohibitive for large models. Parameter-efficient fine-tuning (PEFT) methods like Low-Rank Adaptation (LoRA) reduce this cost by introducing low-rank matrices for tuning fewer parameters. While LoRA allows for efficient fine-tuning, it requires significant data for adaptation, making Federated Learning (FL) an appealing solution due to its privacy-preserving collaborative framework. However, combining LoRA with FL introduces two key challenges: the \textbf{Server-Side LoRA Aggregation Bias}, where server-side averaging of LoRA matrices diverges from the ideal global update, and the \textbf{Client-Side LoRA Initialization Drift}, emphasizing the need for consistent initialization across rounds. Existing approaches address these challenges individually, limiting their effectiveness. We propose LoRA-FAIR, a novel method that tackles both issues by introducing a correction term on the server while keeping the original LoRA modules, enhancing aggregation efficiency and accuracy. LoRA-FAIR maintains computational and communication efficiency, yielding superior performance over state-of-the-art methods. Experimental results on ViT and MLP-Mixer models across large-scale datasets demonstrate that LoRA-FAIR consistently achieves performance improvements in FL settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google