Personalized Federated Learning of Probabilistic Models: A PAC-Bayesian Approach

要約

フェデレーテッド ラーニングは、複数のクライアントによってローカルに保存されたプライベートな分散データから共有モデルを推論することを目的としています。
パーソナライズされたフェデレーテッド ラーニング (PFL) は、グローバル モデルを各クライアントに適応させ、さまざまなクライアントに対するモデルの適合性を高めることでさらに一歩進んでいます。
非常に異質なクライアントにはかなりのレベルのパーソナライゼーションが必要ですが、特にデータセットが小さい場合には達成が困難になる可能性があります。
この問題に対処するために、差分プライバシーを利用してデータ依存の事前分布を処理する、PAC-ベイジアン フレームワーク内で確率モデルを学習するための PAC-PFL という PFL アルゴリズムを提案します。
私たちのアルゴリズムは共有された超事後を共同で学習し、各クライアントの事後推論をパーソナライゼーションのステップとみなします。
PAC-PFL は、クライアントの平均的な真のリスクに基づく一般化限界を確立して最小化することにより、過剰適合と効果的に闘います。
PACPFL は、太陽光発電パネル発電のデータセット、FEMNIST データセット (Caldas et al., 2019)、および Dirichlet 分割 EMNIST データセット (Cohen et al., 2017) の実験によって裏付けられた、正確で適切に校正された予測を実現します。

要約(オリジナル)

Federated learning aims to infer a shared model from private and decentralized data stored locally by multiple clients. Personalized federated learning (PFL) goes one step further by adapting the global model to each client, enhancing the model’s fit for different clients. A significant level of personalization is required for highly heterogeneous clients, but can be challenging to achieve especially when they have small datasets. To address this problem, we propose a PFL algorithm named PAC-PFL for learning probabilistic models within a PAC-Bayesian framework that utilizes differential privacy to handle data-dependent priors. Our algorithm collaboratively learns a shared hyper-posterior and regards each client’s posterior inference as the personalization step. By establishing and minimizing a generalization bound on the average true risk of clients, PAC-PFL effectively combats over-fitting. PACPFL achieves accurate and well-calibrated predictions, supported by experiments on a dataset of photovoltaic panel power generation, FEMNIST dataset (Caldas et al., 2019), and Dirichlet-partitioned EMNIST dataset (Cohen et al., 2017).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google