Efficiently Escaping Saddle Points in Bilevel Optimization

要約

タイトル：バイレベル最適化におけるサドル点の効率的な回避方法

要約：

– バイレベル最適化は、機械学習や最適化における基本問題の1つです。
– 最近の理論的発展では、非凸で強凸な場合の1次の停留点を見つけることに焦点が当てられています。
– 本論文では、非凸で強凸なバイレベル最適化におけるサドル点を回避できるアルゴリズムを解析しています。
– 具体的には、暖かい開始戦略を設定した摂動近似暗黙的微分法（AID）が、高い確率で$\epsilon$-近似局所最小値を$\tilde{O}(\epsilon^{-2})$反復で見つけることを示します。
– さらに、サドル点を回避し、確率バイレベル最適化の局所最小値を見つける純粋な1次のアルゴリズムであるiNEONを提案します。
– 副産物として、最小最大問題の局所最小最大点に収束するように設計された摂動多段勾配上昇（GDmax）アルゴリズムの初めての非漸近的解析を提供します。

要約(オリジナル)

Bilevel optimization is one of the fundamental problems in machine learning and optimization. Recent theoretical developments in bilevel optimization focus on finding the first-order stationary points for nonconvex-strongly-convex cases. In this paper, we analyze algorithms that can escape saddle points in nonconvex-strongly-convex bilevel optimization. Specifically, we show that the perturbed approximate implicit differentiation (AID) with a warm start strategy finds $\epsilon$-approximate local minimum of bilevel optimization in $\tilde{O}(\epsilon^{-2})$ iterations with high probability. Moreover, we propose an inexact NEgative-curvature-Originated-from-Noise Algorithm (iNEON), a pure first-order algorithm that can escape saddle point and find local minimum of stochastic bilevel optimization. As a by-product, we provide the first nonasymptotic analysis of perturbed multi-step gradient descent ascent (GDmax) algorithm that converges to local minimax point for minimax problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI