Dual Prompt Tuning for Domain-Aware Federated Learning

要約

フェデレーテッド ラーニングは、複数のクライアントがローカル データを使用して共有モデルを共同でトレーニングできるようにする分散機械学習パラダイムです。
それにもかかわらず、従来のフェデレーテッド ラーニング アルゴリズムは、クライアント間でユビキタスなドメインが移行しているため、うまく一般化するのに苦労することがよくあります。
この作業では、各クライアントのトレーニング データが異なるドメインから発生する、挑戦的だが現実的なフェデレーション ラーニング シナリオを検討します。
私たちは、プロンプト学習の手法を活用してドメイン シフトの課題に対処し、Federated Dual Prompt Tuning (Fed-DPT) と呼ばれる新しい方法を提案します。
具体的には、Fed-DPT は事前トレーニング済みのビジョン言語モデルを採用し、視覚的およびテキストの両方のプロンプト調整を適用して、分散データに対するドメインの適応を促進します。
Fed-DPT の広範な実験により、ドメインを意識したフェデレーテッド ラーニングにおける Fed-DPT の大きな有効性が実証されました。
事前トレーニングされた CLIP モデル (画像エンコーダーとしての ViT-Base) を使用すると、提案された Fed-DPT は、DomainNet データセット内の 6 つのドメインにわたって平均 68.4% の精度を達成し、元の CLIP を 14.8% という大幅な改善に導きます。

要約(オリジナル)

Federated learning is a distributed machine learning paradigm that allows multiple clients to collaboratively train a shared model with their local data. Nonetheless, conventional federated learning algorithms often struggle to generalize well due to the ubiquitous domain shift across clients. In this work, we consider a challenging yet realistic federated learning scenario where the training data of each client originates from different domains. We address the challenges of domain shift by leveraging the technique of prompt learning, and propose a novel method called Federated Dual Prompt Tuning (Fed-DPT). Specifically, Fed-DPT employs a pre-trained vision-language model and then applies both visual and textual prompt tuning to facilitate domain adaptation over decentralized data. Extensive experiments of Fed-DPT demonstrate its significant effectiveness in domain-aware federated learning. With a pre-trained CLIP model (ViT-Base as image encoder), the proposed Fed-DPT attains 68.4% average accuracy over six domains in the DomainNet dataset, which improves the original CLIP by a large margin of 14.8%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google