Local Steps Speed Up Local GD for Heterogeneous Distributed Logistic Regression

要約

異種の分離可能なデータを使用した分散ロジスティック回帰に適用されたローカル勾配降下法の 2 つのバリエーションを分析し、$K$ ローカル ステップと十分に大きな $R$ 通信ラウンドに対して $O(1/KR)$ のレートで収束することを示します。
対照的に、あらゆる問題に適用されるローカル GD の既存の収束保証はすべて、少なくとも $\Omega(1/R)$ であり、ローカル更新の利点を示すことができないことを意味します。
保証を改善する鍵は、事前の分析が $\eta \leq 1/K$ に依存しているのに対し、大きなステップサイズ $\eta \gg 1/K$ を使用したときにロジスティック回帰目標の進捗を示すことです。

要約(オリジナル)

We analyze two variants of Local Gradient Descent applied to distributed logistic regression with heterogeneous, separable data and show convergence at the rate $O(1/KR)$ for $K$ local steps and sufficiently large $R$ communication rounds. In contrast, all existing convergence guarantees for Local GD applied to any problem are at least $\Omega(1/R)$, meaning they fail to show the benefit of local updates. The key to our improved guarantee is showing progress on the logistic regression objective when using a large stepsize $\eta \gg 1/K$, whereas prior analysis depends on $\eta \leq 1/K$.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google