An Upload-Efficient Scheme for Transferring Knowledge From a Server-Side Pre-trained Generator to Clients in Heterogeneous Federated Learning

要約

Heterogeneous Federated Learning (HtFL) により、プライバシーを保護しながら、異なるモデル アーキテクチャを持つクライアント間でタスク固有の知識を共有できます。
最近の研究の進歩にも関わらず、データとモデルの異質性のため、HtFL における知識の伝達は依然として困難です。
これに取り組むために、私たちはパブリックな事前トレーニング済みジェネレーター (StyleGAN や Stable Diffusion など) をブリッジとして導入し、Federated Knowledge-Transfer-Loop (FedKTL) と呼ばれる新しいアップロード効率の高い知識転送スキームを提案します。
サーバー上のジェネレーターの推論を介して、タスクに関連するプロトタイプの画像とベクトルのペアを生成できます。
これらのペアを使用すると、各クライアントは追加の教師付きローカル タスクを通じてジェネレーターからローカル モデルに共通の知識を転送できます。
CNN と ViT を含む 14 の異種モデルを使用して、2 種類のデータ異種性の下で 4 つのデータセットに対して広範な実験を実施しました。
結果は、当社の FedKTL が 7 つの最先端のメソッドを最大 7.31% 上回っていることを示しています。
さらに、当社の知識伝達スキームは、エッジ クライアントが 1 つだけのクラウド エッジ シナリオにも適用できます。
コード: https://github.com/TsingZ0/FedKTL

要約(オリジナル)

Heterogeneous Federated Learning (HtFL) enables task-specific knowledge sharing among clients with different model architectures while preserving privacy. Despite recent research progress, transferring knowledge in HtFL is still difficult due to data and model heterogeneity. To tackle this, we introduce a public pre-trained generator (e.g., StyleGAN or Stable Diffusion) as the bridge and propose a new upload-efficient knowledge transfer scheme called Federated Knowledge-Transfer-Loop (FedKTL). It can produce task-related prototypical image-vector pairs via the generator’s inference on the server. With these pairs, each client can transfer common knowledge from the generator to its local model through an additional supervised local task. We conduct extensive experiments on four datasets under two types of data heterogeneity with 14 heterogeneous models, including CNNs and ViTs. Results show that our FedKTL surpasses seven state-of-the-art methods by up to 7.31%. Moreover, our knowledge transfer scheme is applicable in cloud-edge scenarios with only one edge client. Code: https://github.com/TsingZ0/FedKTL

arxiv情報

提供元, 利用サービス

arxiv.jp, Google