Optimal Complexity in Byzantine-Robust Distributed Stochastic Optimization with Data Heterogeneity

要約

このホワイトペーパーでは、強く凸型と非凸確率的最適化の両方で、ビザンチンと頑丈な分布の一次確率的最適化方法の厳しい下限を確立します。
分散ノードに不均一なデータがある場合、収束誤差は2つのコンポーネントで構成されていることを明らかにします：非vanishingビザンチンエラーと消失最適化エラー。
ビザンチンのエラーと、任意に小さな最適化エラーを達成するために必要な確率勾配のオラクルのクエリの最小数の下限を確立します。
それにもかかわらず、確立された下限と既存の上限との間に重要な矛盾を特定します。
このギャップを埋めるために、ネステロフの加速と分散削減の技術を活用して、これらの下限と対数要因まで、これらの下限に合わせて、確立された下限が厳しいことを意味する、新しいビザンチンと堅牢な分布の確率的最適化方法を開発します。

要約(オリジナル)

In this paper, we establish tight lower bounds for Byzantine-robust distributed first-order stochastic optimization methods in both strongly convex and non-convex stochastic optimization. We reveal that when the distributed nodes have heterogeneous data, the convergence error comprises two components: a non-vanishing Byzantine error and a vanishing optimization error. We establish the lower bounds on the Byzantine error and on the minimum number of queries to a stochastic gradient oracle required to achieve an arbitrarily small optimization error. Nevertheless, we identify significant discrepancies between our established lower bounds and the existing upper bounds. To fill this gap, we leverage the techniques of Nesterov’s acceleration and variance reduction to develop novel Byzantine-robust distributed stochastic optimization methods that provably match these lower bounds, up to logarithmic factors, implying that our established lower bounds are tight.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google