Federated Learning with Uncertainty and Personalization via Efficient Second-order Optimization

要約

フェデレーテッド ラーニング (FL) は、クライアントからデータを一切出さずに、さまざまなクライアントで利用可能な分散型の異種データから共同学習する有望な方法として登場しました。
FL に関する最近の研究では、クライアント モデルやサーバー モデルの事後分布を学習することでモデルと予測の不確実性を考慮する原則的な方法を提供するため、FL にベイジアン アプローチを採用することが提唱されています。
さらに、ベイジアン FL では、各クライアントに独自の個別のパーソナライズされたモデルを学習させることで、さまざまなクライアント間でのデータの異質性を処理するための FL でのパーソナライゼーションも自然に可能になります。
特に、階層ベイジアン アプローチにより、すべてのクライアントがパーソナライズされたモデルを学習できると同時に、サーバーによって提供される事前の配布を介した共通点も考慮に入れることができます。
ただし、その期待にもかかわらず、FL に対するベイジアン アプローチは、事後分布を計算して送信する必要があるため、計算コストが高くなり、通信コストも高くなる可能性があります。
我々は、効率的な 2 次最適化アプローチを使用した新しいベイジアン FL 手法を提案します。計算コストは​​ Adam のような 1 次最適化手法と同様ですが、FL に対するベイジアン アプローチのさまざまな利点 (不確実性、パーソナライゼーションなど) も提供します。
)、SOTA ベイジアン FL メソッドよりも大幅に効率的かつ正確です (標準およびパーソナライズされた FL 設定の両方)。
私たちの方法は、最適化ベースとベイジアン FL 方法の両方を含むベースラインと比較して、予測精度の向上と不確かさの推定の向上を実現します。

要約(オリジナル)

Federated Learning (FL) has emerged as a promising method to collaboratively learn from decentralized and heterogeneous data available at different clients without the requirement of data ever leaving the clients. Recent works on FL have advocated taking a Bayesian approach to FL as it offers a principled way to account for the model and predictive uncertainty by learning a posterior distribution for the client and/or server models. Moreover, Bayesian FL also naturally enables personalization in FL to handle data heterogeneity across the different clients by having each client learn its own distinct personalized model. In particular, the hierarchical Bayesian approach enables all the clients to learn their personalized models while also taking into account the commonalities via a prior distribution provided by the server. However, despite their promise, Bayesian approaches for FL can be computationally expensive and can have high communication costs as well because of the requirement of computing and sending the posterior distributions. We present a novel Bayesian FL method using an efficient second-order optimization approach, with a computational cost that is similar to first-order optimization methods like Adam, but also provides the various benefits of the Bayesian approach for FL (e.g., uncertainty, personalization), while also being significantly more efficient and accurate than SOTA Bayesian FL methods (both for standard as well as personalized FL settings). Our method achieves improved predictive accuracies as well as better uncertainty estimates as compared to the baselines which include both optimization based as well as Bayesian FL methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google