FedBEns: One-Shot Federated Learning based on Bayesian Ensemble

要約

One-Shot Federated Learning（FL）は、複数のクライアントが中央サーバーとの1ラウンドの通信でグローバルモデルを協力的に学習できるようにする最近のパラダイムです。
この論文では、ベイジアン推論のレンズを介したワンショットFLの問題を分析し、FedBensを提案します。これは、ローカル損失関数の固有のマルチモダリティを活用してより良いグローバルモデルを見つけるアルゴリズムです。
当社のアルゴリズムは、クライアントのローカルポステリオルのラプラス近似の混合を活用し、サーバーがグローバルモデルを推測するために集約します。
さまざまなデータセットで広範な実験を実施し、提案された方法が通常、局所損失の単峰性近似に依存する競合するベースラインよりも優れていることを示しています。

要約(オリジナル)

One-Shot Federated Learning (FL) is a recent paradigm that enables multiple clients to cooperatively learn a global model in a single round of communication with a central server. In this paper, we analyze the One-Shot FL problem through the lens of Bayesian inference and propose FedBEns, an algorithm that leverages the inherent multimodality of local loss functions to find better global models. Our algorithm leverages a mixture of Laplace approximations for the clients’ local posteriors, which the server then aggregates to infer the global model. We conduct extensive experiments on various datasets, demonstrating that the proposed method outperforms competing baselines that typically rely on unimodal approximations of the local losses.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google