Efficient Model Personalization in Federated Learning via Client-Specific Prompt Generation

要約

フェデレーテッド ラーニング (FL) は、プライバシーを保護するためにデータを共有せずに、複数の分散クライアントからモデルをトレーニングする分散型学習フレームワークとして登場します。
最近、大規模な事前トレーニング済みモデル (Vision Transformer など) は、堅牢な表現を導出する強力な機能を示しています。
ただし、クライアント間のデータの異質性、限られた計算リソース、および通信帯域幅により、FL フレームワークでの大規模モデルの展開が制限されます。
大規模モデルからの堅牢な表現を活用しながら、異種クライアントに対する効率的なモデルのパーソナライゼーションを可能にするために、クライアント固有のプロンプト生成 (pFedPG) の新しいパーソナライズされた FL フレームワークを提案します。
特定の視覚的なプロンプトにより、凍結されたバックボーンをローカルのデータ分散に効率的に適応させます。
私たちが提案するフレームワークは、ローカルでのパーソナライズされたプロンプト適応の段階とグローバルでのパーソナライズされたプロンプト生成の段階を共同で最適化します。
前者は、基盤モデルを各クライアントに適応させる視覚的なプロンプトをトレーニングすることを目的としていますが、後者は、ローカルな最適化の方向を観察して、すべてのクライアントに対してパーソナライズされたプロンプトを生成します。
ベンチマーク データセットに関する広範な実験を通じて、私たちの pFedPG は、さまざまなタイプのデータ異質性の下で最先端のパーソナライズされた FL 手法に対して有利であり、計算と通信の効率的なモデルのパーソナライゼーションを可能にすることを示します。

要約(オリジナル)

Federated learning (FL) emerges as a decentralized learning framework which trains models from multiple distributed clients without sharing their data to preserve privacy. Recently, large-scale pre-trained models (e.g., Vision Transformer) have shown a strong capability of deriving robust representations. However, the data heterogeneity among clients, the limited computation resources, and the communication bandwidth restrict the deployment of large-scale models in FL frameworks. To leverage robust representations from large-scale models while enabling efficient model personalization for heterogeneous clients, we propose a novel personalized FL framework of client-specific Prompt Generation (pFedPG), which learns to deploy a personalized prompt generator at the server for producing client-specific visual prompts that efficiently adapts frozen backbones to local data distributions. Our proposed framework jointly optimizes the stages of personalized prompt adaptation locally and personalized prompt generation globally. The former aims to train visual prompts that adapt foundation models to each client, while the latter observes local optimization directions to generate personalized prompts for all clients. Through extensive experiments on benchmark datasets, we show that our pFedPG is favorable against state-of-the-art personalized FL methods under various types of data heterogeneity, allowing computation and communication efficient model personalization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google