An Accelerated Gradient Method for Convex Smooth Simple Bilevel Optimization

要約

この論文では、単純な 2 値最適化問題に焦点を当てます。この問題では、別の凸滑らかな制約付き最適化問題の最適解セットに対して凸滑らかな目的関数を最小化します。
我々は、切断面アプローチを使用して下位レベルの問題の解セットを局所的に近似し、加速された勾配ベースの更新を使用して、近似解セットに対する上位レベルの目的関数を削減する、新しいバイレベル最適化手法を提案します。
準最適性エラーと実行不可能性エラーの観点からメソッドのパフォーマンスを測定し、両方のエラー基準に対して非漸近収束保証を提供します。
具体的には、実行可能な集合がコンパクトな場合、この方法では最大 $\mathcal{O}(\max\{1/\sqrt{\epsilon_{f}}, 1/\epsilon_g\})$ 回の反復が必要であることを示します。
$\epsilon_f$ 準最適かつ $\epsilon_g$ 実行不可能な解決策を見つけます。
さらに、下位レベルの目的が $r$ 番目の古い誤差限界を満たすという追加の仮定の下で、私たちの方法が $\mathcal{O}(\max\{\epsilon_{
f}^{-\frac{2r-1}{2r}},\epsilon_{g}^{-\frac{2r-1}{2r}}\})$、これは単一レベルの最適な複雑さに一致します
$r=1$ の場合の凸制約付き最適化。

要約(オリジナル)

In this paper, we focus on simple bilevel optimization problems, where we minimize a convex smooth objective function over the optimal solution set of another convex smooth constrained optimization problem. We present a novel bilevel optimization method that locally approximates the solution set of the lower-level problem using a cutting plane approach and employs an accelerated gradient-based update to reduce the upper-level objective function over the approximated solution set. We measure the performance of our method in terms of suboptimality and infeasibility errors and provide non-asymptotic convergence guarantees for both error criteria. Specifically, when the feasible set is compact, we show that our method requires at most $\mathcal{O}(\max\{1/\sqrt{\epsilon_{f}}, 1/\epsilon_g\})$ iterations to find a solution that is $\epsilon_f$-suboptimal and $\epsilon_g$-infeasible. Moreover, under the additional assumption that the lower-level objective satisfies the $r$-th H\’olderian error bound, we show that our method achieves an iteration complexity of $\mathcal{O}(\max\{\epsilon_{f}^{-\frac{2r-1}{2r}},\epsilon_{g}^{-\frac{2r-1}{2r}}\})$, which matches the optimal complexity of single-level convex constrained optimization when $r=1$.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google