On the Convergence of Distributed Stochastic Bilevel Optimization Algorithms over a Network

要約

2 値最適化はさまざまな機械学習モデルに適用されており、近年、多数の確率的 2 値最適化アルゴリズムが開発されています。
ただし、ほとんどの既存のアルゴリズムは、分散データを処理できないように、単一マシンの設定に重点を置いています。
この問題に対処するために、すべての参加者がネットワークを構成し、このネットワークでピアツーピア通信を実行する設定の下で、勾配追跡通信メカニズムと 2 つの異なる勾配推定器に基づく 2 つの新しい分散型確率的バイレベル最適化アルゴリズムを開発しました。
さらに、新しい理論解析戦略を使用して、非凸-強凸問題の収束率を確立しました。
私たちの知る限り、これはこれらの理論的結果を達成した最初の研究です。
最後に、アルゴリズムを実用的な機械学習モデルに適用し、実験結果によってアルゴリズムの有効性が確認されました。

要約(オリジナル)

Bilevel optimization has been applied to a wide variety of machine learning models, and numerous stochastic bilevel optimization algorithms have been developed in recent years. However, most existing algorithms restrict their focus on the single-machine setting so that they are incapable of handling the distributed data. To address this issue, under the setting where all participants compose a network and perform peer-to-peer communication in this network, we developed two novel decentralized stochastic bilevel optimization algorithms based on the gradient tracking communication mechanism and two different gradient estimators. Additionally, we established their convergence rates for nonconvex-strongly-convex problems with novel theoretical analysis strategies. To our knowledge, this is the first work achieving these theoretical results. Finally, we applied our algorithms to practical machine learning models, and the experimental results confirmed the efficacy of our algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google