Push–Pull with Device Sampling

要約

基礎となる通信グラフを交換することにより、多数のエージェントが協力してローカル関数の平均を最小化する分散最適化問題を検討します。
具体的には、ノードのランダムな部分のみが反復ごとに計算を実行する非同期モデルに身を置き、情報交換はすべてのノード間で非対称に実行できます。
この設定では、勾配追跡とネットワーク レベルの分散削減を組み合わせたアルゴリズムを提案します (各ノード内の分散削減とは対照的です)。
これにより、各ノードは目的関数の勾配の平均を追跡できます。
私たちの理論的分析は、予想される混合行列での穏やかな接続条件下で、局所目的関数が強い凸である場合、アルゴリズムが線形に収束することを示しています。
特に、我々の結果は、混合行列が二重に確率的であることを必要としません。
実験では、コンピューティング ノードから近隣ノードに情報を送信するブロードキャスト メカニズムを調査し、合成データセットと現実世界のデータセットの両方で、この方法の線形収束を確認します。

要約(オリジナル)

We consider decentralized optimization problems in which a number of agents collaborate to minimize the average of their local functions by exchanging over an underlying communication graph. Specifically, we place ourselves in an asynchronous model where only a random portion of nodes perform computation at each iteration, while the information exchange can be conducted between all the nodes and in an asymmetric fashion. For this setting, we propose an algorithm that combines gradient tracking with a network-level variance reduction (in contrast to variance reduction within each node). This enables each node to track the average of the gradients of the objective functions. Our theoretical analysis shows that the algorithm converges linearly, when the local objective functions are strongly convex, under mild connectivity conditions on the expected mixing matrices. In particular, our result does not require the mixing matrices to be doubly stochastic. In the experiments, we investigate a broadcast mechanism that transmits information from computing nodes to their neighbors, and confirm the linear convergence of our method on both synthetic and real-world datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google