Achieving ${O}(ε^{-1.5})$ Complexity in Hessian/Jacobian-free Stochastic Bilevel Optimization

要約

この論文では、上位レベルの目的関数が一般に非凸であり、下位レベルの目的関数が強く凸であるバイレベル最適化問題を再検討します。
このタイプの問題は広範囲に研究されていますが、2次を一切使わずにヘッシアン/ヤコビアンフリーの確率的二値最適化で ${O}(\epsilon^{-1.5})$ のサンプル複雑さを達成する方法は依然として未解決の問題のままです。
微分計算。
このギャップを埋めるために、FdeHBO という名前の新しいヘシアン/ヤコビアンフリーのバイレベル オプティマイザーを提案します。これは、単純な完全単一ループ構造、射影支援有限差分ヘシアン/ヤコビアン ベクトル近似、および運動量ベースの更新を特徴としています。
理論的には、FdeHBO が $\epsilon$- を見つけるには ${O}(\epsilon^{-1.5})$ 回の反復 (それぞれ ${O}(1)$ サンプルと一次勾配情報のみを使用) が必要であることを示します。
正確な静止点。
私たちが知る限り、これは、非凸強凸の確率的バイレベル最適化に対する ${O}(\epsilon^{-1.5})$ のサンプル複雑さを備えた最初のヘシアン/ヤコビアンフリーの手法です。

要約(オリジナル)

In this paper, we revisit the bilevel optimization problem, in which the upper-level objective function is generally nonconvex and the lower-level objective function is strongly convex. Although this type of problem has been studied extensively, it still remains an open question how to achieve an ${O}(\epsilon^{-1.5})$ sample complexity in Hessian/Jacobian-free stochastic bilevel optimization without any second-order derivative computation. To fill this gap, we propose a novel Hessian/Jacobian-free bilevel optimizer named FdeHBO, which features a simple fully single-loop structure, a projection-aided finite-difference Hessian/Jacobian-vector approximation, and momentum-based updates. Theoretically, we show that FdeHBO requires ${O}(\epsilon^{-1.5})$ iterations (each using ${O}(1)$ samples and only first-order gradient information) to find an $\epsilon$-accurate stationary point. As far as we know, this is the first Hessian/Jacobian-free method with an ${O}(\epsilon^{-1.5})$ sample complexity for nonconvex-strongly-convex stochastic bilevel optimization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google