First-Order Methods for Linearly Constrained Bilevel Optimization

要約

バイレベル最適化のアルゴリズムでは、高次元では法外なヘッセ行列計算が発生することがよくあります。
最近の研究では、制約のない 2 レベル問題に対する一次手法が提供されていますが、制約のある設定については依然として比較的研究が進んでいません。
有限時間の超勾配定常性を保証する一次線形制約付き最適化手法を紹介します。
線形等式制約の場合、$\widetilde{O}(\epsilon^{-2})$ 勾配オラクル呼び出しで $\epsilon$-定常性を達成します。これはほぼ最適です。
線形不等式制約の場合、 $\widetilde{O}(d{\delta^{-1} \epsilon^{-3}})$ 勾配オラクル呼び出しで $(\delta,\epsilon)$-Goldstein 定常性を達成します。
ここで、$d$ は上位レベルのディメンションです。
最後に、オラクルが
最適な二重変数。
その過程で、不正確なオラクルを使用した新しい非滑らかな非凸最適化手法を開発します。
これらの保証を予備的な数値実験で検証します。

要約(オリジナル)

Algorithms for bilevel optimization often encounter Hessian computations, which are prohibitive in high dimensions. While recent works offer first-order methods for unconstrained bilevel problems, the constrained setting remains relatively underexplored. We present first-order linearly constrained optimization methods with finite-time hypergradient stationarity guarantees. For linear equality constraints, we attain $\epsilon$-stationarity in $\widetilde{O}(\epsilon^{-2})$ gradient oracle calls, which is nearly-optimal. For linear inequality constraints, we attain $(\delta,\epsilon)$-Goldstein stationarity in $\widetilde{O}(d{\delta^{-1} \epsilon^{-3}})$ gradient oracle calls, where $d$ is the upper-level dimension. Finally, we obtain for the linear inequality setting dimension-free rates of $\widetilde{O}({\delta^{-1} \epsilon^{-4}})$ oracle complexity under the additional assumption of oracle access to the optimal dual variable. Along the way, we develop new nonsmooth nonconvex optimization methods with inexact oracles. We verify these guarantees with preliminary numerical experiments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google