A Lower Bound and a Near-Optimal Algorithm for Bilevel Empirical Risk Minimization

要約

【タイトル】バイレベル経験的リスク最小化のための下限値と近似最適アルゴリズム

【要約】
– バイレベル最適化問題は、2つの最適化問題が入れ子になっている問題であり、機械学習においてますます応用が広がっています。
– 多くの実用的な場合、上位目的と下位目的は経験的リスク最小化問題に対応し、和の構造を持っています。
– このような文脈で、有名なSARAHアルゴリズムのバイレベル拡張を提案しています。
– アルゴリズムが$\mathcal{O}((n+m)^{\frac12}\varepsilon^{-1})$の勾配計算を必要とし、$\varepsilon$-局所最適点に達するために、ここで$n+m$はサンプルの合計数で、これはすべての前のバイレベルアルゴリズムを改善します。
– さらに、バイレベル問題の目的関数の近似局所最適点を得るために必要なオラクル呼び出しの最小限界を提供しています。
– この下限値は、私たちのアルゴリズムによって達成されるため、サンプルの複雑さの面で最適であると言えます。

要約(オリジナル)

Bilevel optimization problems, which are problems where two optimization problems are nested, have more and more applications in machine learning. In many practical cases, the upper and the lower objectives correspond to empirical risk minimization problems and therefore have a sum structure. In this context, we propose a bilevel extension of the celebrated SARAH algorithm. We demonstrate that the algorithm requires $\mathcal{O}((n+m)^{\frac12}\varepsilon^{-1})$ gradient computations to achieve $\varepsilon$-stationarity with $n+m$ the total number of samples, which improves over all previous bilevel algorithms. Moreover, we provide a lower bound on the number of oracle calls required to get an approximate stationary point of the objective function of the bilevel problem. This lower bound is attained by our algorithm, which is therefore optimal in terms of sample complexity.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI