要約
確率的二値最適化 (SBO) は、入れ子構造の処理における汎用性により、機械学習においてますます重要になってきています。
大規模な SBO に対処するために、分散型アプローチが効果的なパラダイムとして登場しました。このアプローチでは、中央サーバーを使用せずにノードが隣接するノードと通信し、それによって通信効率が向上し、アルゴリズムの堅牢性が強化されます。
しかし、現在の分散型 SBO アルゴリズムは、高価な内部ループの更新、ネットワーク トポロジ、データの異質性、入れ子になった 2 レベルのアルゴリズム構造の影響についての不明瞭な理解などの課題に直面しています。
この論文では、シングルループ分散 SBO (D-SOBA) アルゴリズムを導入し、その一時的な反復の複雑さを確立します。これにより、分散バイレベル アルゴリズムに対するネットワーク トポロジとデータの異質性の共同影響が初めて明らかになります。
D-SOBA は、既存の手法と比較して、より緩和された仮定の下で最先端の漸近率、漸近勾配/ヘッセ行列の複雑さ、および過渡反復の複雑さを実現します。
数値実験により、理論上の発見が検証されます。
要約(オリジナル)
Stochastic bilevel optimization (SBO) is becoming increasingly essential in machine learning due to its versatility in handling nested structures. To address large-scale SBO, decentralized approaches have emerged as effective paradigms in which nodes communicate with immediate neighbors without a central server, thereby improving communication efficiency and enhancing algorithmic robustness. However, current decentralized SBO algorithms face challenges, including expensive inner-loop updates and unclear understanding of the influence of network topology, data heterogeneity, and the nested bilevel algorithmic structures. In this paper, we introduce a single-loop decentralized SBO (D-SOBA) algorithm and establish its transient iteration complexity, which, for the first time, clarifies the joint influence of network topology and data heterogeneity on decentralized bilevel algorithms. D-SOBA achieves the state-of-the-art asymptotic rate, asymptotic gradient/Hessian complexity, and transient iteration complexity under more relaxed assumptions compared to existing methods. Numerical experiments validate our theoretical findings.
arxiv情報
| 著者 | Boao Kong,Shuchen Zhu,Songtao Lu,Xinmeng Huang,Kun Yuan |
| 発行日 | 2024-02-26 11:30:42+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google