TernaryVote: Differentially Private, Communication Efficient, and Byzantine Resilient Distributed Optimization on Heterogeneous Data

要約

ディープ ニューラル ネットワークの分散トレーニングは、プライバシーの保護、通信効率、障害や敵対的な動作に対する堅牢性という 3 つの重要な課題に直面しています。
これらの課題に個別に対処するために多大な研究努力が費やされてきましたが、それらの総合的な研究はまだあまり行われていません。
この論文では、三値圧縮器と多数決メカニズムを組み合わせて、差分プライバシー、勾配圧縮、およびビザンチン復元力を同時に実現する TernaryVote を提案します。
私たちは、新たな f 差分プライバシー (DP) と提案されたアルゴリズムのビザンチン復元力のレンズを通して、プライバシーの保証を理論的に定量化します。
特にプライバシーの保証に関しては、既存の符号ベースのアプローチである StoSign と比較して、提案手法は勾配サイズに対する次元依存性を改善し、同等の収束率を確保しながらミニバッチ サンプリングによるプライバシーの増幅を享受します。
また、ワーカーの 50% 未満が盲目攻撃者である場合に TernaryVote が堅牢であることも証明します。これは、SIGNSGD の過半数投票と一致します。
広範な実験結果により、提案されたアルゴリズムの有効性が検証されています。

要約(オリジナル)

Distributed training of deep neural networks faces three critical challenges: privacy preservation, communication efficiency, and robustness to fault and adversarial behaviors. Although significant research efforts have been devoted to addressing these challenges independently, their synthesis remains less explored. In this paper, we propose TernaryVote, which combines a ternary compressor and the majority vote mechanism to realize differential privacy, gradient compression, and Byzantine resilience simultaneously. We theoretically quantify the privacy guarantee through the lens of the emerging f-differential privacy (DP) and the Byzantine resilience of the proposed algorithm. Particularly, in terms of privacy guarantees, compared to the existing sign-based approach StoSign, the proposed method improves the dimension dependence on the gradient size and enjoys privacy amplification by mini-batch sampling while ensuring a comparable convergence rate. We also prove that TernaryVote is robust when less than 50% of workers are blind attackers, which matches that of SIGNSGD with majority vote. Extensive experimental results validate the effectiveness of the proposed algorithm.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google