Gradient-Normalized Smoothness for Optimization with Approximate Hessians

要約

この作業では、Gradient Remulization手法と組み合わせたおおよその2次情報を使用する新しい最適化アルゴリズムを開発し、凸対および非凸目的の両方の高速なグローバル収束率を達成します。
分析の重要な革新は、グラデーション正規化された滑らかさと呼ばれる新しい概念であり、勾配フィールドの良好な相対近似を生成する現在のポイント周辺のボールの最大半径を特徴付けます。
私たちの理論は、ヘシアン近似と勾配の線形化との間に自然な固有のつながりを確立します。
重要なことに、勾配正規化された滑らかさは、目的関数の特定の問題クラスに依存するものではなく、勾配フィールドとヘシアン近似に関するローカル情報をメソッドのグローバルな動作に効果的に翻訳することです。
この新しい概念は、普遍的なグローバルコンバージェンス保証を備えたおおよその2次アルゴリズムを装備し、H \ ‘より古い連続したヘシアンと第3派生物、準自己一致関数、および一次最適化のスムーズなクラスで機能の最先端のレートを回復します。
これらのレートは自動的に達成され、一般化された自己矛盾機能など、より広範なクラスに拡張されます。
ロジスティック回帰とヘシアンの近似のソフトマックスの問題、およびフィッシャーとガウス – ニュートン近似を使用した非凸最適化におけるグローバルな線形レートの結果の直接的な応用を示します。

要約(オリジナル)

In this work, we develop new optimization algorithms that use approximate second-order information combined with the gradient regularization technique to achieve fast global convergence rates for both convex and non-convex objectives. The key innovation of our analysis is a novel notion called Gradient-Normalized Smoothness, which characterizes the maximum radius of a ball around the current point that yields a good relative approximation of the gradient field. Our theory establishes a natural intrinsic connection between Hessian approximation and the linearization of the gradient. Importantly, Gradient-Normalized Smoothness does not depend on the specific problem class of the objective functions, while effectively translating local information about the gradient field and Hessian approximation into the global behavior of the method. This new concept equips approximate second-order algorithms with universal global convergence guarantees, recovering state-of-the-art rates for functions with H\’older-continuous Hessians and third derivatives, quasi-self-concordant functions, as well as smooth classes in first-order optimization. These rates are achieved automatically and extend to broader classes, such as generalized self-concordant functions. We demonstrate direct applications of our results for global linear rates in logistic regression and softmax problems with approximate Hessians, as well as in non-convex optimization using Fisher and Gauss-Newton approximations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google