DeCAF: Decentralized Consensus-And-Factorization for Low-Rank Adaptation of Foundation Models

要約

低ランク適応（LORA）は、ビジョン言語モデル（VLMS）および大手言語モデル（LLM）をトレーニングするための最も効果的で計算上の扱いやすい微調整アプローチの1つとして浮上しています。
Loraは、事前に訓練されたモデルの重みを凍結し、トレーニング可能な低ランクマトリックスを注入することでこれを達成し、エッジデバイスでもこれらの基礎モデルを効率的に学習できるようにします。
ただし、分散型設定のLORAは、特に滑らかさの保証とモデルのコンセンサス干渉がないため、理論的な基盤のために、依然として調査中に残っています（以下で正式に定義されています）。
この作業により、分散型ロラ（dlora）の収束速度が改善され、勾配の滑らかさを確保することにより分散型SGDの速度と一致します。
また、コンセンサス干渉を解決するために、Dloraを切り捨てられた特異値分解（TSVD）ベースのマトリックス因数分解と統合する新しいアルゴリズムであるDecafも紹介します。
理論分析では、TSVDの近似誤差が境界があり、dloraとデカフの間のコンセンサスの違いがランクが増加すると消滅し、デカフの一致する収束率が得られます。
ビジョン/言語タスク全体の広範な実験により、アルゴリズムはローカルトレーニングを上回り、IIDデータ分布と非IIDデータ分布の両方で連邦学習をライバルにします。

要約(オリジナル)

Low-Rank Adaptation (LoRA) has emerged as one of the most effective, computationally tractable fine-tuning approaches for training Vision-Language Models (VLMs) and Large Language Models (LLMs). LoRA accomplishes this by freezing the pre-trained model weights and injecting trainable low-rank matrices, allowing for efficient learning of these foundation models even on edge devices. However, LoRA in decentralized settings still remains under explored, particularly for the theoretical underpinnings due to the lack of smoothness guarantee and model consensus interference (defined formally below). This work improves the convergence rate of decentralized LoRA (DLoRA) to match the rate of decentralized SGD by ensuring gradient smoothness. We also introduce DeCAF, a novel algorithm integrating DLoRA with truncated singular value decomposition (TSVD)-based matrix factorization to resolve consensus interference. Theoretical analysis shows TSVD’s approximation error is bounded and consensus differences between DLoRA and DeCAF vanish as rank increases, yielding DeCAF’s matching convergence rate. Extensive experiments across vision/language tasks demonstrate our algorithms outperform local training and rivals federated learning under both IID and non-IID data distributions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google