Mixture of Experts Made Personalized: Federated Prompt Learning for Vision-Language Models

要約

Federated Prown Learningは、Clipのようなビジョン言語モデル（VLM）の堅牢な表現学習能力を備えたClipのようなビジョン言語モデルを使用したフェデレーションラーニングを促進します。
ただし、現在のフェデレートプロンプト学習方法は、従来のFLパラダイムに習慣的に制限されています。このパラダイムでは、参加しているクライアントは一般に、サーバーからグローバルに集約された単一のモデルをダウンロードすることができます。
この作業では、連邦設定でフルサイズのモデルをトレーニングするために正当化できますが、このパラダイムは軽量プロンプトには不適切であると主張します。
クライアントが固定非ローカルエキスパートとして複数の事前に凝集したプロンプトをダウンロードするように促進することにより、専門家の混合物（MOE）のレンズを通じてプロンプト学習プロセスをパーソナライズする新しいFLフレームワークである適応プロンプト（PFEDMOAP）のパーソナライズされたフェデレーション混合物を提案します。
PFEDMOAPは、ローカルイメージデータとより適切に整合するための強化されたテキスト機能を生成することを学ぶローカルな注意ベースのゲーティングネットワークを実装し、ローカルおよびダウンロードされた非ローカル適応プロンプトエキスパートの両方の恩恵を受けます。
さまざまなフェデレーション設定の下での9つのデータセットでの広範な実験は、提案されたPFEDMOAPアルゴリズムの有効性を示しています。
このコードは、https：//github.com/ljaiverson/pfedmoapで入手できます。

要約(オリジナル)

Federated prompt learning benefits federated learning with CLIP-like Vision-Language Model’s (VLM’s) robust representation learning ability through prompt learning. However, current federated prompt learning methods are habitually restricted to the traditional FL paradigm, where the participating clients are generally only allowed to download a single globally aggregated model from the server. While justifiable for training full-sized models under federated settings, in this work, we argue that this paradigm is ill-suited for lightweight prompts. By facilitating the clients to download multiple pre-aggregated prompts as fixed non-local experts, we propose Personalized Federated Mixture of Adaptive Prompts (pFedMoAP), a novel FL framework that personalizes the prompt learning process through the lens of Mixture of Experts (MoE). pFedMoAP implements a local attention-based gating network that learns to generate enhanced text features for better alignment with local image data, benefiting from both local and downloaded non-local adaptive prompt experts. Extensive experiments on 9 datasets under various federated settings demonstrate the efficacy of the proposed pFedMoAP algorithm. The code is available at https://github.com/ljaiverson/pFedMoAP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google