Global and Local Prompts Cooperation via Optimal Transport for Federated Learning

要約

事前学習された視覚言語モデルにおけるプロンプト学習は、様々な下流タスクにおいて顕著な柔軟性を示している。その固有の軽量性を活用し、最近の研究では、強力な事前学習済みモデルを連携学習フレームワークに統合し、通信コストを削減すると同時に、不十分なデータでのローカル学習を促進することが試みられている。このような努力にもかかわらず、現在の連合迅速学習手法は、深刻なデータの不均一性、例えば、ラベルと特徴の両方のシフトを伴うデータ分布に体系的に対処するための特別な設計を欠いている。この課題を解決するために、我々はFederated Prompts Cooperation via Optimal Transport (FedOTP)を提示する。FedOTPは、クライアント毎に多様なカテゴリの特徴を捉えるための効率的な協調プロンプト学習戦略を導入する。具体的には、各クライアントに対して、クライアント間のコンセンサス知識を抽出するためのグローバルプロンプトと、クライアント固有のカテゴリ特性を捉えるためのローカルプロンプトを学習する。そして、アンバランス最適輸送（Unbalanced Optimal Transport）を用いて、ローカルな視覚的特徴をこれらのプロンプトに合わせることで、グローバルなコンセンサスとローカルなパーソナライゼーションのバランスをとる。等式制約の1つを緩和することにより、FedOTPはプロンプトが画像パッチのコア領域のみにフォーカスすることを可能にする。様々なタイプの異質性を持つデータセットでの広範な実験により、我々のFedOTPが最先端の手法を凌駕することが実証された。

要約(オリジナル)

Prompt learning in pretrained visual-language models has shown remarkable flexibility across various downstream tasks. Leveraging its inherent lightweight nature, recent research attempted to integrate the powerful pretrained models into federated learning frameworks to simultaneously reduce communication costs and promote local training on insufficient data. Despite these efforts, current federated prompt learning methods lack specialized designs to systematically address severe data heterogeneities, e.g., data distribution with both label and feature shifts involved. To address this challenge, we present Federated Prompts Cooperation via Optimal Transport (FedOTP), which introduces efficient collaborative prompt learning strategies to capture diverse category traits on a per-client basis. Specifically, for each client, we learn a global prompt to extract consensus knowledge among clients, and a local prompt to capture client-specific category characteristics. Unbalanced Optimal Transport is then employed to align local visual features with these prompts, striking a balance between global consensus and local personalization. By relaxing one of the equality constraints, FedOTP enables prompts to focus solely on the core regions of image patches. Extensive experiments on datasets with various types of heterogeneities have demonstrated that our FedOTP outperforms the state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL