Accelerated Fully First-Order Methods for Bilevel and Minimax Optimization

要約

この論文では、\emph{Bilevel Optimization} (BLO) における新しい高速化された完全一次手法を紹介します。
まず、低レベル関数が典型的な強い凸性の仮定を認めるという仮定の下の BLO では、\emph{(Perturbed) Restarted Accelerated Fully First-order Methods for Bilevel近似} (\texttt{PRAF${}^2$BA)
}) \emph{full} 1 次オラクルを活用するアルゴリズムが提案されていますが、複雑な最適化タスクを解決する際に最先端の Oracle クエリの複雑さを備えた近似 1 次および 2 次の静止点を見つけるアルゴリズムが提案されています。
次に、BLO の特別なケースとして \emph{非凸-強凸} (NCSC) ミニマックス最適化を適用すると、\texttt{PRAF${}^2$BA} で \emph{摂動再起動加速勾配降下上昇} (\
texttt{PRAGDA}) は、近似 2 次静止点を見つけるための最先端の複雑さを実現します。
さらに、低レベル関数に典型的な強い凸性の仮定が欠けている場合に、BLO で超目的関数の定常点を見つけるという課題を調査します。そこで、扱いやすさを保証する低レベル問題のいくつかの規則性条件を特定し、次のことを示す硬度の結果を提示します。
一般的な凸低レベル関数に対する BLO の扱いが難しいこと。
これらの規則性条件の下で、近似値を見つけるための効率的なサブルーチンとして \emph{スイッチング勾配法} (\texttt{SGM}) を利用する \emph{不正確勾配なし法} (\texttt{IGFM}) を提案します。
多項式時間における超目標の静止点。
私たちが提案するアルゴリズムの優れたパフォーマンスをさらに検証するために、現実世界の問題に対する実証研究が提供されます。

要約(オリジナル)

We present in this paper novel accelerated fully first-order methods in \emph{Bilevel Optimization} (BLO). Firstly, for BLO under the assumption that the lower-level functions admit the typical strong convexity assumption, the \emph{(Perturbed) Restarted Accelerated Fully First-order methods for Bilevel Approximation} (\texttt{PRAF${}^2$BA}) algorithm leveraging \emph{fully} first-order oracles is proposed, whereas the algorithm for finding approximate first-order and second-order stationary points with state-of-the-art oracle query complexities in solving complex optimization tasks. Secondly, applying as a special case of BLO the \emph{nonconvex-strongly-convex} (NCSC) minimax optimization, \texttt{PRAF${}^2$BA} rediscovers \emph{perturbed restarted accelerated gradient descent ascent} (\texttt{PRAGDA}) that achieves the state-of-the-art complexity for finding approximate second-order stationary points. Additionally, we investigate the challenge of finding stationary points of the hyper-objective function in BLO when lower-level functions lack the typical strong convexity assumption, where we identify several regularity conditions of the lower-level problems that ensure tractability and present hardness results indicating the intractability of BLO for general convex lower-level functions. Under these regularity conditions we propose the \emph{Inexact Gradient-Free Method} (\texttt{IGFM}), utilizing the \emph{Switching Gradient Method} (\texttt{SGM}) as an efficient sub-routine to find an approximate stationary point of the hyper-objective in polynomial time. Empirical studies for real-world problems are provided to further validate the outperformance of our proposed algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google