Accelerated Parameter-Free Stochastic Optimization

要約

我々は、滑らかな確率的凸最適化において、最適に近いレートを達成する方法を提案する。これは、少なくとも最適化までの初期距離d0を知る必要がある先行研究を改善するものである。我々の手法U-DoGは、UniXGrad(Kavis et al., 2019)とDoG(Ivgi et al., 2023)に新しい反復安定化技術を組み合わせたものである。これは、d0とノイズの大きさに関する緩い境界のみを必要とし、サブガウスノイズ下での高確率保証を提供し、非平滑な場合においてもほぼ最適である。我々の実験では、凸問題では一貫した強力な性能を示し、ニューラルネットワークの訓練ではまちまちの結果であった。

要約(オリジナル)

We propose a method that achieves near-optimal rates for smooth stochastic convex optimization and requires essentially no prior knowledge of problem parameters. This improves on prior work which requires knowing at least the initial distance to optimality d0. Our method, U-DoG, combines UniXGrad (Kavis et al., 2019) and DoG (Ivgi et al., 2023) with novel iterate stabilization techniques. It requires only loose bounds on d0 and the noise magnitude, provides high probability guarantees under sub-Gaussian noise, and is also near-optimal in the non-smooth case. Our experiments show consistent, strong performance on convex problems and mixed results on neural network training.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL