FedHPL: Efficient Heterogeneous Federated Learning with Prompt Tuning and Logit Distillation

要約

フェデレーテッド ラーニング (FL) は、生データをローカルに保持しながら、分散クライアントが中央サーバーと共同でモデルをトレーニングできるようにする、人気のあるプライバシー保護パラダイムです。
実際には、異なるモデル アーキテクチャ、さまざまなデータ分散、およびローカル クライアント全体の限られたリソースにより、必然的にモデルのパフォーマンスの低下と収束速度の低下が発生します。
ただし、既存の FL 手法では、上記の異種の課題の一部しか解決できず、明らかなパフォーマンスの制限があります。
注目すべきことに、これらの課題を克服するための統一フレームワークはまだ検討されていません。
したがって、$\textbf{P}$romptチューニングと$\textbf{L}$に基づいた$\textbf{H}$異種設定のためのパラメータ効率の高い統合$\textbf{Fed}$erated学習フレームワークであるFedHPLを提案します。
オージット蒸留。
具体的には、いくつかの学習可能な視覚的プロンプトを活用して、下流タスク用に凍結された事前トレーニングされた基礎モデルを効率的に微調整するローカル プロンプト チューニング スキームを採用します。これにより、限られたローカル リソースとデータの異質性の下でトレーニングが加速され、モデルのパフォーマンスが向上します。
さらに、モデルの不均一性を処理し、ローカル トレーニングをガイドするためのグローバル ロジット蒸留スキームを設計します。
詳細には、ロジットを活用してローカルの知識を暗黙的に取得し、グローバルなクライアント固有のロジットを生成するための加重知識集約メカニズムを設計します。
FedHPL の一般化誤差限界に関する理論的保証を提供します。
モデルとデータの多様な設定の下でのさまざまなベンチマーク データセットでの実験は、私たちのフレームワークが、少ない計算オーバーヘッドとトレーニング ラウンドで最先端の FL アプローチよりも優れたパフォーマンスを発揮することを示しています。

要約(オリジナル)

Federated learning (FL) is a popular privacy-preserving paradigm that enables distributed clients to collaboratively train models with a central server while keeping raw data locally. In practice, distinct model architectures, varying data distributions, and limited resources across local clients inevitably cause model performance degradation and a slowdown in convergence speed. However, existing FL methods can only solve some of the above heterogeneous challenges and have obvious performance limitations. Notably, a unified framework has not yet been explored to overcome these challenges. Accordingly, we propose FedHPL, a parameter-efficient unified $\textbf{Fed}$erated learning framework for $\textbf{H}$eterogeneous settings based on $\textbf{P}$rompt tuning and $\textbf{L}$ogit distillation. Specifically, we employ a local prompt tuning scheme that leverages a few learnable visual prompts to efficiently fine-tune the frozen pre-trained foundation model for downstream tasks, thereby accelerating training and improving model performance under limited local resources and data heterogeneity. Moreover, we design a global logit distillation scheme to handle the model heterogeneity and guide the local training. In detail, we leverage logits to implicitly capture local knowledge and design a weighted knowledge aggregation mechanism to generate global client-specific logits. We provide a theoretical guarantee on the generalization error bound for FedHPL. The experiments on various benchmark datasets under diverse settings of models and data demonstrate that our framework outperforms state-of-the-art FL approaches, with less computation overhead and training rounds.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google