A stochastic first-order method with multi-extrapolated momentum for highly smooth unconstrained optimization

要約

この論文では、目的関数が高次の滑らかさを示す制約のない確率的最適化問題を検討します。
具体的には、各反復で複数の外挿が実行される多励起運動量を備えた新しい確率的1次方法（SFOM）を提案し、その後、これらの外挿に基づく運動量更新が行われます。
提案されたSFOMは、目的関数$ f $の高次の滑らかさを活用することにより、最適化を加速できることを実証します。
$ p $ f $の$ p $の派生物が$ p \ ge2 $のリプシッツ連続であると仮定すると、追加の軽度の仮定の下で、私たちの方法は$ \ widetilde {\ mathcal {o}}}}（\ epsilon^{ – （3p+1）/p+1）$ x $ x $ $ xを見つけるためのサンプルの複雑さを達成することを確立します。
$ \ mathbb {e} [\ | \ nabla f（x）\ |] \ le \ epsilon $。
私たちの知る限り、これは加速のための目的関数の任意の順序性滑らかさを活用した最初のSFOMであり、平均二乗滑らかさ条件を想定せずに最もよく知られている結果を改善するサンプルの複雑さをもたらします。
予備的な数値実験は、当社の方法の実用的なパフォーマンスを検証し、理論的な調査結果をサポートします。

要約(オリジナル)

In this paper, we consider an unconstrained stochastic optimization problem where the objective function exhibits high-order smoothness. Specifically, we propose a new stochastic first-order method (SFOM) with multi-extrapolated momentum, in which multiple extrapolations are performed in each iteration, followed by a momentum update based on these extrapolations. We demonstrate that the proposed SFOM can accelerate optimization by exploiting the high-order smoothness of the objective function $f$. Assuming that the $p$th-order derivative of $f$ is Lipschitz continuous for some $p\ge2$, and under additional mild assumptions, we establish that our method achieves a sample complexity of $\widetilde{\mathcal{O}}(\epsilon^{-(3p+1)/p})$ for finding a point $x$ such that $\mathbb{E}[\|\nabla f(x)\|]\le\epsilon$. To the best of our knowledge, this is the first SFOM to leverage arbitrary-order smoothness of the objective function for acceleration, resulting in a sample complexity that improves upon the best-known results without assuming the mean-squared smoothness condition. Preliminary numerical experiments validate the practical performance of our method and support our theoretical findings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google