A randomized algorithm for nonconvex minimization with inexact evaluations and complexity guarantees

要約

近似的な 2 次最適性を達成するために、(関数値へのアクセスを想定せずに) 勾配とヘッシアンへのオラクル アクセスが不正確な滑らかな非凸関数の最小化を検討します。
私たちの方法の新しい特徴は、負の曲率の近似方向がステップとして選択された場合、その方向が等しい確率で正または負になるように選択することです。
勾配が相対的な意味で不正確であることを許容し、一次最適性条件と二次最適性条件の不正確性しきい値間の結合を緩和します。
私たちの収束分析には、マーチンゲール分析に基づく期待限界と、濃度不等式に基づく高確率限界の両方が含まれています。
私たちはアルゴリズムを経験的なリスク最小化問題に適用し、既存の研究よりも改善された勾配サンプルの複雑さを取得します。

要約(オリジナル)

We consider minimization of a smooth nonconvex function with inexact oracle access to gradient and Hessian (without assuming access to the function value) to achieve approximate second-order optimality. A novel feature of our method is that if an approximate direction of negative curvature is chosen as the step, we choose its sense to be positive or negative with equal probability. We allow gradients to be inexact in a relative sense and relax the coupling between inexactness thresholds for the first- and second-order optimality conditions. Our convergence analysis includes both an expectation bound based on martingale analysis and a high-probability bound based on concentration inequalities. We apply our algorithm to empirical risk minimization problems and obtain improved gradient sample complexity over existing works.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google