On Convergence of Federated Averaging Langevin Dynamics

要約

分散型クライアントでの不確実性の定量化と平均予測のために、連合平均ランジュバン アルゴリズム (FA-LD) を提案します。
特に、正規事後分布を超えて一般化し、モデルの一般的なクラスを検討します。
私たちは、非 i.i.d データを使用した強い対数凹分布に対する FA-LD の理論的保証を開発し、注入されたノイズと確率的勾配ノイズ、データの不均一性、および学習率の変化が収束にどのように影響するかを研究します。
このような分析により、通信コストを最小限に抑えるためのローカル アップデートの最適な選択が明らかになります。
私たちのアプローチで重要なのは、ランジュバン アルゴリズムに注入されたノイズによって通信効率が低下しないことです。
さらに、FA-LD アルゴリズムでは、さまざまなクライアント上で使用される独立ノイズと相関ノイズの両方を検査します。
これらのペアの間には、通信、精度、データ プライバシーのトレードオフがあることがわかります。
フェデレーテッド ネットワークではローカル デバイスが非アクティブになる可能性があるため、部分的なデバイス更新のみが利用可能な場合のさまざまな平均化スキームに基づいた収束結果も示します。
このような場合、ゼロまで減衰しない追加のバイアスが見つかります。

要約(オリジナル)

We propose a federated averaging Langevin algorithm (FA-LD) for uncertainty quantification and mean predictions with distributed clients. In particular, we generalize beyond normal posterior distributions and consider a general class of models. We develop theoretical guarantees for FA-LD for strongly log-concave distributions with non-i.i.d data and study how the injected noise and the stochastic-gradient noise, the heterogeneity of data, and the varying learning rates affect the convergence. Such an analysis sheds light on the optimal choice of local updates to minimize communication costs. Important to our approach is that the communication efficiency does not deteriorate with the injected noise in the Langevin algorithms. In addition, we examine in our FA-LD algorithm both independent and correlated noise used over different clients. We observe there is a trade-off between the pairs among communication, accuracy, and data privacy. As local devices may become inactive in federated networks, we also show convergence results based on different averaging schemes where only partial device updates are available. In such a case, we discover an additional bias that does not decay to zero.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google