Local Steps Speed Up Local GD for Heterogeneous Distributed Logistic Regression

要約

不均一で分離可能なデータを使用して分布したロジスティック回帰に適用された局所勾配降下の2つのバリアントを分析し、$ k $のローカルステップと十分に大きな$ r $通信ラウンドでレート$ o（1/kr）$で収束を表示します。
対照的に、問題に適用されるローカルGDの既存の収束保証はすべて、少なくとも$ \ omega（1/r）$であり、ローカルアップデートの利点を示すことができません。
改善された保証の鍵は、大規模なステップサイズ$ \ eta \ gg 1/k $を使用する場合のロジスティック回帰目標の進捗を示すことですが、事前の分析は$ \ eta \ leq 1/k $に依存します。

要約(オリジナル)

We analyze two variants of Local Gradient Descent applied to distributed logistic regression with heterogeneous, separable data and show convergence at the rate $O(1/KR)$ for $K$ local steps and sufficiently large $R$ communication rounds. In contrast, all existing convergence guarantees for Local GD applied to any problem are at least $\Omega(1/R)$, meaning they fail to show the benefit of local updates. The key to our improved guarantee is showing progress on the logistic regression objective when using a large stepsize $\eta \gg 1/K$, whereas prior analysis depends on $\eta \leq 1/K$.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google