A Conditional Gradient-based Method for Simple Bilevel Optimization with Convex Lower-level Problem

要約

タイトル：凸下位問題を持つ単純な二層最適化に対する条件付き勾配ベースの手法

要約：
– 二層最適化問題の一種である単純な二層最適化問題を研究した。
– この問題では、下位問題の最適解集合上でスムーズな目的関数を最小化する。
– この問題に対処するため、新しい二層最適化手法を導入した。
– この手法は、下位問題の解集合をカットプレーンで局所的に近似し、条件付き勾配更新を実行して上位目的関数を減少させる。
– 上位目的関数が凸である場合、本手法は上位目的関数がεf-最適、下位目的関数がεg-最適な解を見つけるために、${\mathcal{O}}(\max\{1/\epsilon_f,1/\epsilon_g\})$の反復を必要とする。
– 上位目的関数が非凸である場合、本手法は$(\epsilon_f,\epsilon_g)$-最適解を見つけるために、${\mathcal{O}}(\max\{1/\epsilon_f^2,1/(\epsilon_f\epsilon_g)\})$の反復を必要とする。
– 下位問題に関するH\’olderian誤差境界仮説に基づくより強力な収束保証も証明された。
– このクラスの二層問題における最良の反復複雑性を実現している。

要約(オリジナル)

In this paper, we study a class of bilevel optimization problems, also known as simple bilevel optimization, where we minimize a smooth objective function over the optimal solution set of another convex constrained optimization problem. Several iterative methods have been developed for tackling this class of problems. Alas, their convergence guarantees are either asymptotic for the upper-level objective, or the convergence rates are slow and sub-optimal. To address this issue, in this paper, we introduce a novel bilevel optimization method that locally approximates the solution set of the lower-level problem via a cutting plane, and then runs a conditional gradient update to decrease the upper-level objective. When the upper-level objective is convex, we show that our method requires ${\mathcal{O}}(\max\{1/\epsilon_f,1/\epsilon_g\})$ iterations to find a solution that is $\epsilon_f$-optimal for the upper-level objective and $\epsilon_g$-optimal for the lower-level objective. Moreover, when the upper-level objective is non-convex, our method requires ${\mathcal{O}}(\max\{1/\epsilon_f^2,1/(\epsilon_f\epsilon_g)\})$ iterations to find an $(\epsilon_f,\epsilon_g)$-optimal solution. We also prove stronger convergence guarantees under the H\’olderian error bound assumption on the lower-level problem. To the best of our knowledge, our method achieves the best-known iteration complexity for the considered class of bilevel problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI