Personalized Decentralized Federated Learning with Knowledge Distillation

要約

フェデレーテッド ラーニング (FL) のパーソナライゼーションは、データや行動のばらつきが大きいクライアントのコーディネーターとして機能します。
これらのクライアントのモデルの収束を確実にすることは、ユーザーが同様のパターンまたは好みを持つユーザーとどれだけ密接に協力するかにかかっています。
ただし、分散ネットワーク内のユーザーに与えられた他のユーザーのモデルに関する限られた知識の下で、類似性を定量化することは一般的に困難です。
この問題に対処するために、ローカルモデル間の統計的距離を識別するために、知識蒸留技術を活用して各デバイスに権限を与える、パーソナライズされた完全に分散化された FL アルゴリズムを提案します。
各クライアント デバイスは、ローカル データを共有せずに、知識の蒸留のようにローカル サンプルをフィードして 2 つの中間出力間の類似性を推定することで、パフォーマンスを向上させることができます。
私たちの経験的研究は、提案されたアルゴリズムが、高度に非独立で同一に分散された (非 i.i.d.) データ分布の下で、より少ない反復でクライアントのテスト精度を向上させ、中央サーバーを必要としない場合でも、小さなデータセットを持つエージェントに有益であることを示しています。

要約(オリジナル)

Personalization in federated learning (FL) functions as a coordinator for clients with high variance in data or behavior. Ensuring the convergence of these clients’ models relies on how closely users collaborate with those with similar patterns or preferences. However, it is generally challenging to quantify similarity under limited knowledge about other users’ models given to users in a decentralized network. To cope with this issue, we propose a personalized and fully decentralized FL algorithm, leveraging knowledge distillation techniques to empower each device so as to discern statistical distances between local models. Each client device can enhance its performance without sharing local data by estimating the similarity between two intermediate outputs from feeding local samples as in knowledge distillation. Our empirical studies demonstrate that the proposed algorithm improves the test accuracy of clients in fewer iterations under highly non-independent and identically distributed (non-i.i.d.) data distributions and is beneficial to agents with small datasets, even without the need for a central server.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google