Communication-Efficient Byzantine-Resilient Federated Zero-Order Optimization

要約

メモリと通信の効率が高く、ビザンチン障害に強いフェデレーテッド ラーニングのための初のゼロ次最適化アルゴリズムである CYBER-0 を紹介します。
MNIST データセットと RoBERTa-Large の微調整に関する広範な数値実験を通じて、CYBER-0 が通信とメモリ効率の点で最先端のアルゴリズムを上回り、同様の精度を達成できることを示しました。
凸損失関数の収束について理論的な保証を提供します。

要約(オリジナル)

We introduce CYBER-0, the first zero-order optimization algorithm for memory-and-communication efficient Federated Learning, resilient to Byzantine faults. We show through extensive numerical experiments on the MNIST dataset and finetuning RoBERTa-Large that CYBER-0 outperforms state-of-the-art algorithms in terms of communication and memory efficiency while reaching similar accuracy. We provide theoretical guarantees on its convergence for convex loss functions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google