ELF: Federated Langevin Algorithms with Primal, Dual and Bidirectional Compression

要約

フェデレーテッド サンプリング アルゴリズムは、最近、機械学習と統計のコミュニティで大きな人気を得ています。
この論文では、エラー フィードバック ランジュバン アルゴリズム (ELF) と呼ばれるこのようなアルゴリズムの変形について説明します。
特に、EF21 と EF21-P の組み合わせを、フェデレーテッド ランジュバン モンテカルロと組み合わせて分析します。
P-ELF、D-ELF、および B-ELF の 3 つのアルゴリズムを提案します。これらはそれぞれ、主圧縮、二重圧縮、および双方向圧縮を使用します。
Log-Sobolev 不等式の下で提案された方法を分析し、非漸近的な収束保証を提供します。

要約(オリジナル)

Federated sampling algorithms have recently gained great popularity in the community of machine learning and statistics. This paper studies variants of such algorithms called Error Feedback Langevin algorithms (ELF). In particular, we analyze the combinations of EF21 and EF21-P with the federated Langevin Monte-Carlo. We propose three algorithms: P-ELF, D-ELF, and B-ELF that use, respectively, primal, dual, and bidirectional compressors. We analyze the proposed methods under Log-Sobolev inequality and provide non-asymptotic convergence guarantees.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google