A Variational Perspective on High-Resolution ODEs

要約

我々は、滑らかな凸関数の制約のない最小化を考える。高分解能のODEを研究することを可能にする強制オイラー・ラグランジュ方程式を用いた新しい変分学の視点を提案する。これにより、Nesterovの加速勾配法を用いた勾配ノルム最小化において、より速い収束率を得る。さらに、Nesterovの方法が、適切に選択された高分解能ODEのレートマッチング離散化として解釈できることを示す。最後に、新しい変分論的観点から得られた結果を用いて、ノイズの多い勾配に対する確率的方法を提案する。いくつかの数値実験により、我々の確率的アルゴリズムを最新の手法と比較し、説明する。

要約(オリジナル)

We consider unconstrained minimization of smooth convex functions. We propose a novel variational perspective using forced Euler-Lagrange equation that allows for studying high-resolution ODEs. Through this, we obtain a faster convergence rate for gradient norm minimization using Nesterov’s accelerated gradient method. Additionally, we show that Nesterov’s method can be interpreted as a rate-matching discretization of an appropriately chosen high-resolution ODE. Finally, using the results from the new variational perspective, we propose a stochastic method for noisy gradients. Several numerical experiments compare and illustrate our stochastic algorithm with state of the art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL