Variance Reduction is an Antidote to Byzantines: Better Rates, Weaker Assumptions and Communication Compression as a Cherry on the Top

要約

ビザンチン堅牢性は、共同学習やフェデレーション学習への関心が高まっているため、多くの注目を集めています。
ただし、堅牢性を実現するための分散削減の使用や通信コストを削減するための通信圧縮など、多くの有益な方向性は、この分野ではまだ十分に検討されていません。
この作業では、このギャップに対処し、Byz-VR-MAR​​INA を提案します。これは、分散の削減と圧縮を備えた新しいビザンチン耐性の方法です。
私たちの論文の重要なメッセージは、分散の削減がビザンチン労働者とより効果的に戦うための鍵であるということです.
同時に、通信圧縮はプロセスをより効率的にするボーナスです。
Byz-VR-MAR​​INA が、一般的な非凸関数および Polyak-Lojasiewicz 損失関数について、以前の最先端技術を上回る理論的な収束保証を導き出します。
分散削減および/または圧縮を伴う同時ビザンチンロバストな方法とは異なり、複雑さの結果は厳密であり、勾配の有界性や制限された圧縮などの制限的な仮定に依存しません。
さらに、確率的勾配の不均一なサンプリングをサポートするビザンチン耐性メソッドの最初の分析を提供します。
数値実験は、私たちの理論的発見を裏付けています。

要約(オリジナル)

Byzantine-robustness has been gaining a lot of attention due to the growth of the interest in collaborative and federated learning. However, many fruitful directions, such as the usage of variance reduction for achieving robustness and communication compression for reducing communication costs, remain weakly explored in the field. This work addresses this gap and proposes Byz-VR-MARINA – a new Byzantine-tolerant method with variance reduction and compression. A key message of our paper is that variance reduction is key to fighting Byzantine workers more effectively. At the same time, communication compression is a bonus that makes the process more communication efficient. We derive theoretical convergence guarantees for Byz-VR-MARINA outperforming previous state-of-the-art for general non-convex and Polyak-Lojasiewicz loss functions. Unlike the concurrent Byzantine-robust methods with variance reduction and/or compression, our complexity results are tight and do not rely on restrictive assumptions such as boundedness of the gradients or limited compression. Moreover, we provide the first analysis of a Byzantine-tolerant method supporting non-uniform sampling of stochastic gradients. Numerical experiments corroborate our theoretical findings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google