PRIOR: Personalized Prior for Reactivating the Information Overlooked in Federated Learning

要約

従来のフェデレーテッド ラーニング (FL) では、プライバシー保護のためにデータを共有せずに機械学習モデルをトレーニングできますが、異種データの特性によりローカライズされたモデルのパフォーマンスが低下します。
パーソナライズド FL (PFL) は、ローカル データでのトレーニングを通じてグローバル モデルからパーソナライズされたモデルを合成することで、この問題に対処します。
このようなグローバル モデルでは、クライアントがサンプリングされた特定の情報が見落とされる可能性があります。
この論文では、パーソナライズされた事前知識を各クライアントのグローバル モデルに注入する新しいスキームを提案します。これは、PFL で導入された不完全な情報の問題を軽減することを試みます。
私たちが提案するアプローチの中心となるのは、ブレグマン発散を伴う PFL (pFedBreD) というフレームワークです。これは、パーソナライズされたシナリオでの適応性を高めるために、ブレグマン発散によって正規化された局所目的関数からパーソナライズされた事前分布を切り離します。
また、オプションの戦略を提供するために事前を明示的に抽出するためにミラー降下 (RMD) を緩和します。
さらに、当社の pFedBreD は収束解析によって裏付けられています。
十分な実験により、私たちの手法が 5 つのデータセットで最先端のパフォーマンスに達し、8 つのベンチマーク全体で他の手法を最大 3.5% 上回るパフォーマンスを示していることが実証されています。
広範な分析により、提案された設計の堅牢性と必要性​​が検証されます。

要約(オリジナル)

Classical federated learning (FL) enables training machine learning models without sharing data for privacy preservation, but heterogeneous data characteristic degrades the performance of the localized model. Personalized FL (PFL) addresses this by synthesizing personalized models from a global model via training on local data. Such a global model may overlook the specific information that the clients have been sampled. In this paper, we propose a novel scheme to inject personalized prior knowledge into the global model in each client, which attempts to mitigate the introduced incomplete information problem in PFL. At the heart of our proposed approach is a framework, the PFL with Bregman Divergence (pFedBreD), decoupling the personalized prior from the local objective function regularized by Bregman divergence for greater adaptability in personalized scenarios. We also relax the mirror descent (RMD) to extract the prior explicitly to provide optional strategies. Additionally, our pFedBreD is backed up by a convergence analysis. Sufficient experiments demonstrate that our method reaches the state-of-the-art performances on 5 datasets and outperforms other methods by up to 3.5% across 8 benchmarks. Extensive analyses verify the robustness and necessity of proposed designs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google