On the Communication Complexity of Decentralized Bilevel Optimization

要約

分散二値最適化は機械学習に広く応用されているため、ここ数年積極的に研究されています。
ただし、既存のアルゴリズムは確率的超勾配の推定によって生じる通信の複雑さが大きく、現実世界のタスクへの適用が制限されます。
この問題に対処するために、我々は異種設定下で新しい分散型確率的二値勾配降下法アルゴリズムを開発しました。このアルゴリズムは、各ラウンドの通信コストが低く、通信ラウンド数が少ないというメリットがあります。
そのため、異質性に関する強い仮定を持たずに、既存のアルゴリズムよりもはるかに優れた通信の複雑さを実現できます。
私たちの知る限り、これは異種環境下でこれらの理論的結果を達成した最初の確率的アルゴリズムです。
最後に、実験結果により、私たちのアルゴリズムの有効性が確認されました。

要約(オリジナル)

Decentralized bilevel optimization has been actively studied in the past few years since it has widespread applications in machine learning. However, existing algorithms suffer from large communication complexity caused by the estimation of stochastic hypergradient, limiting their application to real-world tasks. To address this issue, we develop a novel decentralized stochastic bilevel gradient descent algorithm under the heterogeneous setting, which enjoys a small communication cost in each round and a small number of communication rounds. As such, it can achieve a much better communication complexity than existing algorithms without any strong assumptions regarding heterogeneity. To the best of our knowledge, this is the first stochastic algorithm achieving these theoretical results under the heterogeneous setting. At last, the experimental results confirm the efficacy of our algorithm.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google