Sequential QCQP for Bilevel Optimization with Line Search

要約

Bilevelの最適化には、ある問題が別の問題にネストされ、レベル間の複雑な相互依存性につながる階層構造が含まれます。
いつでも実現可能性を保証するシングルループのチューニングフリーのアルゴリズム、つまり、低レベルの最適性条件の近似満足度を保証し、上位レベルの目標の降下を保証します。
各反復で、閉じた形式のソリューションを備えた凸様式に制約された第四方性プログラム（QCQP）が検索方向を生成し、その後、安全で均一に正のステップサイズを確保するために、コントロールバリア関数に触発されたバックトラッキングライン検索が続きます。
結果の方法はスケーラブルであり、ハイパーパラメーターのチューニングを必要とせず、軽度のローカル規則性の仮定の下で収束します。
O（1/k）のエルゴジック収束率を確立し、代表的なバイレベルタスクに対するアルゴリズムの有効性を実証します。

要約(オリジナル)

Bilevel optimization involves a hierarchical structure where one problem is nested within another, leading to complex interdependencies between levels. We propose a single-loop, tuning-free algorithm that guarantees anytime feasibility, i.e., approximate satisfaction of the lower-level optimality condition, while ensuring descent of the upper-level objective. At each iteration, a convex quadratically-constrained quadratic program (QCQP) with a closed-form solution yields the search direction, followed by a backtracking line search inspired by control barrier functions to ensure safe, uniformly positive step sizes. The resulting method is scalable, requires no hyperparameter tuning, and converges under mild local regularity assumptions. We establish an O(1/k) ergodic convergence rate and demonstrate the algorithm’s effectiveness on representative bilevel tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google