Connecting Federated ADMM to Bayes

要約

（i）admmおよび（ii）変異ベイズ（VB）に基づいた2つの異なる連合学習アプローチ間の新しい接続を提供し、相補的な強度を組み合わせて新しいバリアントを提案します。
具体的には、ADMMの二重変数が、等方性ガウス共分散を備えたVBで使用される「サイト」パラメーターを介して自然に出現することを示します。
これを使用して、それぞれ柔軟な共分散と機能的正則化を使用するVBからADMMの2つのバージョンを導き出します。
数値実験を通じて、パフォーマンスで得られた改善を検証します。
この作品は、根本的に異なると考えられている2つの分野間の関係を示しており、それらを組み合わせて連合学習を改善します。

要約(オリジナル)

We provide new connections between two distinct federated learning approaches based on (i) ADMM and (ii) Variational Bayes (VB), and propose new variants by combining their complementary strengths. Specifically, we show that the dual variables in ADMM naturally emerge through the ‘site’ parameters used in VB with isotropic Gaussian covariances. Using this, we derive two versions of ADMM from VB that use flexible covariances and functional regularisation, respectively. Through numerical experiments, we validate the improvements obtained in performance. The work shows connection between two fields that are believed to be fundamentally different and combines them to improve federated learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google