Bayesian Federated Learning with Hamiltonian Monte Carlo: Algorithm and Theory

要約

この研究では、パラメーター推定と不確実性の定量化のために、新しく効率的なベイジアン連合学習アルゴリズム、つまり連合平均確率的ハミルトニアン モンテカルロ (FA-HMC) を導入します。
我々は、強い凸性とヘシアン平滑性の仮定の下で、非 iid 分散データセットに対する FA-HMC の厳密な収束保証を確立します。
私たちの分析では、FA-HMC のコンバージェンスと通信コストに対するパラメータ空間次元、勾配と運動量のノイズ、通信頻度 (中央ノードとローカル ノード間) の影響を調査します。
さらに、連続的な FA-HMC プロセスであっても収束率を改善できないことを示すことで、解析の厳密性を確立します。
さらに、広範な実証研究により、FA-HMC が既存の Federated Averaging-Langevin Monte Carlo (FA-LD) アルゴリズムよりも優れていることが実証されています。

要約(オリジナル)

This work introduces a novel and efficient Bayesian federated learning algorithm, namely, the Federated Averaging stochastic Hamiltonian Monte Carlo (FA-HMC), for parameter estimation and uncertainty quantification. We establish rigorous convergence guarantees of FA-HMC on non-iid distributed data sets, under the strong convexity and Hessian smoothness assumptions. Our analysis investigates the effects of parameter space dimension, noise on gradients and momentum, and the frequency of communication (between the central node and local nodes) on the convergence and communication costs of FA-HMC. Beyond that, we establish the tightness of our analysis by showing that the convergence rate cannot be improved even for continuous FA-HMC process. Moreover, extensive empirical studies demonstrate that FA-HMC outperforms the existing Federated Averaging-Langevin Monte Carlo (FA-LD) algorithm.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google