要約
バイレベルプログラミングは、強化学習やハイパーパラメータ最適化など、その応用範囲の広さから、近年注目されている。しかしながら、基礎となるバイレベル最適化問題は、単一のマシンによって解かれるか、あるいは、複数のマシンが星型ネットワークで接続された場合、すなわち、連合学習設定によって解かれることが広く想定されている。後者のアプローチは、中央のノード（例えば、パラメータ・サーバ）の通信コストが高く、プライバシーの脆弱性がある。従って、通信効率の良い分散化された方法で2値最適化問題を解く手法を開発することは興味深い。そのために、本論文では、このクラスの最適化問題に対する理論的保証を持つペナルティ関数ベースの分散アルゴリズムを紹介する。具体的には、コンセンサス型バイレベルプログラミングを分散ネットワーク上で解くための分散交互勾配型アルゴリズムを開発する。提案アルゴリズムの主な特徴は、行列-ベクトル積の分散計算と少数のベクトル通信によってペナルティ関数の超勾配を推定することであり、これを交互アルゴリズムに統合することで、異なる凸性仮定下での有限時間収束解析を得る。我々の理論的結果は、ベクトル通信を効率的に利用しながら、分散化された2値最適化の反復複雑度の改善を強調している。合成データセットと実データセットの両方を用いた実証結果は、提案手法が実世界の設定において良好な性能を発揮することを示している。
要約(オリジナル)
Bilevel programming has recently received attention in the literature, due to its wide range of applications, including reinforcement learning and hyper-parameter optimization. However, it is widely assumed that the underlying bilevel optimization problem is solved either by a single machine or in the case of multiple machines connected in a star-shaped network, i.e., federated learning setting. The latter approach suffers from a high communication cost on the central node (e.g., parameter server) and exhibits privacy vulnerabilities. Hence, it is of interest to develop methods that solve bilevel optimization problems in a communication-efficient decentralized manner. To that end, this paper introduces a penalty function based decentralized algorithm with theoretical guarantees for this class of optimization problems. Specifically, a distributed alternating gradient-type algorithm for solving consensus bilevel programming over a decentralized network is developed. A key feature of the proposed algorithm is to estimate the hyper-gradient of the penalty function via decentralized computation of matrix-vector products and few vector communications, which is then integrated within an alternating algorithm to obtain finite-time convergence analysis under different convexity assumptions. Our theoretical result highlights improvements in the iteration complexity of decentralized bilevel optimization, all while making efficient use of vector communication. Empirical results on both synthetic and real datasets demonstrate that the proposed method performs well in real-world settings.
arxiv情報
| 著者 | Parvin Nazari,Ahmad Mousavi,Davoud Ataee Tarzanagh,George Michailidis |
| 発行日 | 2023-09-01 09:37:06+00:00 |
| arxivサイト | arxiv_id(pdf) |