RBLA: Rank-Based-LoRA-Aggregation for Fine-tuning Heterogeneous Models in FLaaS

要約

Federated Learning (FL) は、携帯電話、デスクトップ、CPU や GPU を搭載したデバイスなど、さまざまなデバイスに展開できる、プライバシーを意識した有望な分散学習フレームワークです。
サーバーベースの Federated Learning as a Service (FLaas) のコンテキストでは、FL を使用すると、中央サーバーがローカル データに直接アクセスせずに複数のデバイス間でトレーニング プロセスを調整できるようになり、それによってプライバシーとデータ セキュリティが強化されます。
低ランク適応 (LoRA) は、モデルのパラメーターの低次元部分空間に焦点を当てることによってモデルを効率的に微調整する方法です。
このアプローチでは、すべてのパラメーターを最初から微調整する場合と比較して、計算コストとメモリ コストが大幅に削減されます。
特に FLaas 環境で FL と統合すると、ローカル モデルのランクを調整することで、LoRA をさまざまな計算能力を持つ多様なハードウェアにわたって柔軟かつ効率的に導入できます。
ただし、LoRA 対応 FL では、さまざまなクライアントがさまざまなランクでモデルをトレーニングする可能性があるため、サーバー上でのモデルの集約に課題が生じます。
異なるランクのモデルを集約する現在の方法では、重みを均一な形状にパディングする必要があるため、グローバル モデルのパフォーマンスが低下する可能性があります。
この問題に対処するために、異種 LoRA 構造向けに設計された新しいモデル集約手法である Rank-Based LoRA Aggregation (RBLA) を提案します。
RBLA は、異なるランクのモデル間で主要な機能を保持します。
このペーパーでは、FLaas 環境での集約のモデルを再構築する現在のパディング方法の問題を分析します。
次に、低ランクと高ランクの両方の機能を維持するランクベースの集計方法である RBLA を紹介します。
最後に、最先端の手法との比較実験を通じて RBLA の有効性を実証します。

要約(オリジナル)

Federated Learning (FL) is a promising privacy-aware distributed learning framework that can be deployed on various devices, such as mobile phones, desktops, and devices equipped with CPUs or GPUs. In the context of server-based Federated Learning as a Service (FLaas), FL enables the central server to coordinate the training process across multiple devices without direct access to the local data, thereby enhancing privacy and data security. Low-Rank Adaptation (LoRA) is a method that fine-tunes models efficiently by focusing on a low-dimensional subspace of the model’s parameters. This approach significantly reduces computational and memory costs compared to fine-tuning all parameters from scratch. When integrated with FL, especially in a FLaas environment, LoRA allows for flexible and efficient deployment across diverse hardware with varying computational capabilities by adjusting the local model’s rank. However, in LoRA-enabled FL, different clients may train models with varying ranks, which poses a challenge for model aggregation on the server. Current methods of aggregating models of different ranks require padding weights to a uniform shape, which can degrade the global model’s performance. To address this issue, we propose Rank-Based LoRA Aggregation (RBLA), a novel model aggregation method designed for heterogeneous LoRA structures. RBLA preserves key features across models with different ranks. This paper analyzes the issues with current padding methods that reshape models for aggregation in a FLaas environment. Then, we introduce RBLA, a rank-based aggregation method that maintains both low-rank and high-rank features. Finally, we demonstrate the effectiveness of RBLA through comparative experiments with state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google