FedD2S: Personalized Data-Free Federated Knowledge Distillation

要約

このペーパーでは、Federated Learning (FL) フレームワーク内でクライアント間のデータの異質性を軽減するという課題に取り組みます。
クライアント データの非 ID 的性質から生じるモデル ドリフトの問題は、クライアントごとにローカルにトレーニングされたモデルと比較して、グローバル モデルのパーソナライゼーションが最適化されていないことがよくあります。
この課題に取り組むために、知識の蒸留を活用した、パーソナライズされたフェデレーテッド ラーニング (pFL) のための FedD2S という新しいアプローチを提案します。
FedD2S には、ローカル モデルのパーソナライゼーションを強化するために、データフリーの知識蒸留プロセスに深い層から浅い層へのレイヤー ドロップ メカニズムが組み込まれています。
さまざまな画像データセット (FEMNIST、CIFAR10、CINIC0、CIFAR100) に関する広範なシミュレーションを通じて、FedD2S と最先端の FL ベースラインを比較します。
提案されたアプローチは、収束の加速とクライアント間の公平性の向上を特徴とする優れたパフォーマンスを示します。
導入されたレイヤー ドロップ技術により、個人化された知識が効果的に取り込まれ、代替 FL モデルと比較してパフォーマンスが向上します。
さらに、参加率やレイヤードロップ率などの主要なハイパーパラメータの影響を調査し、FedD2S の最適な構成に関する貴重な洞察を提供します。
この調査結果は、さまざまなデータセットとタスクにわたってパーソナライゼーションとパフォーマンスの向上を達成するための、知識蒸留プロセスにおける適応型レ​​イヤー ドロップの有効性を示しています。

要約(オリジナル)

This paper addresses the challenge of mitigating data heterogeneity among clients within a Federated Learning (FL) framework. The model-drift issue, arising from the noniid nature of client data, often results in suboptimal personalization of a global model compared to locally trained models for each client. To tackle this challenge, we propose a novel approach named FedD2S for Personalized Federated Learning (pFL), leveraging knowledge distillation. FedD2S incorporates a deep-to-shallow layer-dropping mechanism in the data-free knowledge distillation process to enhance local model personalization. Through extensive simulations on diverse image datasets-FEMNIST, CIFAR10, CINIC0, and CIFAR100-we compare FedD2S with state-of-the-art FL baselines. The proposed approach demonstrates superior performance, characterized by accelerated convergence and improved fairness among clients. The introduced layer-dropping technique effectively captures personalized knowledge, resulting in enhanced performance compared to alternative FL models. Moreover, we investigate the impact of key hyperparameters, such as the participation ratio and layer-dropping rate, providing valuable insights into the optimal configuration for FedD2S. The findings demonstrate the efficacy of adaptive layer-dropping in the knowledge distillation process to achieve enhanced personalization and performance across diverse datasets and tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google