Visual Prompt Based Personalized Federated Learning

要約

分散学習の一般的なパラダイムとして、パーソナライズされた連合学習 (PFL) を使用すると、すべての分散クライアントからの知識を利用して、パーソナライズされたモデルの一般化能力と堅牢性を向上させることができます。
ほとんどの既存の PFL アルゴリズムは、パーソナライズされたレイヤー パーティション、モデルの正則化、モデルの補間など、モデル中心の方法でパーソナライゼーションに取り組んでいますが、これらはすべて分散クライアントのデータ特性を考慮していません。
このホワイト ペーパーでは、pFedPT と呼ばれる画像分類タスク用の新しい PFL フレームワークを提案します。このフレームワークは、パーソナライズされた視覚的プロンプトを活用してクライアントのローカル データ配信情報を暗黙的に表し、その情報を集約モデルに提供して分類タスクを支援します。
具体的には、pFedPT トレーニングの各ラウンドで、各クライアントは、ローカル データ配信に関連するローカルのパーソナライズされたプロンプトを生成します。
次に、生データとビジュアル プロンプトで構成される入力でローカル モデルをトレーニングし、プロンプトに含まれる分布情報を学習します。
モデルのテスト中に、集約されたモデルは、プロンプトに基づいてデータ分布の事前知識を取得します。これは、異なるクライアントでのモデルのパフォーマンスを向上させるための集約モデルの適応微調整と見なすことができます。
さらに、既存の FL メソッドのパフォーマンスを向上させるために、クライアントにパーソナライゼーションを実装する直交メソッドとしてビジュアル プロンプトを追加できます。
CIFAR10 および CIFAR100 データセットの実験では、さまざまな設定で pFedPT がいくつかの最先端 (SOTA) PFL アルゴリズムよりも大幅に優れていることが示されています。

要約(オリジナル)

As a popular paradigm of distributed learning, personalized federated learning (PFL) allows personalized models to improve generalization ability and robustness by utilizing knowledge from all distributed clients. Most existing PFL algorithms tackle personalization in a model-centric way, such as personalized layer partition, model regularization, and model interpolation, which all fail to take into account the data characteristics of distributed clients. In this paper, we propose a novel PFL framework for image classification tasks, dubbed pFedPT, that leverages personalized visual prompts to implicitly represent local data distribution information of clients and provides that information to the aggregation model to help with classification tasks. Specifically, in each round of pFedPT training, each client generates a local personalized prompt related to local data distribution. Then, the local model is trained on the input composed of raw data and a visual prompt to learn the distribution information contained in the prompt. During model testing, the aggregated model obtains prior knowledge of the data distributions based on the prompts, which can be seen as an adaptive fine-tuning of the aggregation model to improve model performances on different clients. Furthermore, the visual prompt can be added as an orthogonal method to implement personalization on the client for existing FL methods to boost their performance. Experiments on the CIFAR10 and CIFAR100 datasets show that pFedPT outperforms several state-of-the-art (SOTA) PFL algorithms by a large margin in various settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google