Restarts subject to approximate sharpness: A parameter-free and optimal scheme for first-order methods

要約

シャープネスとは、連続最適化におけるほぼ一般的な仮定で、目的関数の準最適化による極小値からの距離の境界を定めるものです。これは、再スタートによる一次法の高速化につながる。しかし、シャープネスは問題固有の定数を含んでおり、一般に未知であるため、これまでのリスタートスキームでは収束率が低下してしまいます。さらに、このような方式は、ノイズや近似モデルクラスが存在する場合（例えば、圧縮画像や学習問題）には適用が困難であり、一般に、使用する一次法が実行可能な反復子を生成することを仮定している。我々は、目的関数誤差に未知の定数摂動を取り入れたシャープネスの一般化である、近似シャープネスの仮定を検討する。この定数は、近似最小化器を求める際に、ノイズやモデルクラスの緩和に対してより高いロバスト性を提供する。未知定数に対する新しいタイプの探索を採用することにより、我々は一般的な一階法に適用可能で、一階法が実行可能な反復子を生成する必要がない再起動スキームを設計する。この方式は、定数を知っていると仮定した場合と同じ収束率を維持する。様々な1次法について得られた収束率は、最適な収束率に一致するか、あるいは、様々な問題に対して以前に確立された収束率より改善されている。我々は、いくつかの例で我々の再起動スキームを紹介し、我々のフレームワークと理論の将来の応用と発展について指摘する。

要約(オリジナル)

Sharpness is an almost generic assumption in continuous optimization that bounds the distance from minima by objective function suboptimality. It leads to the acceleration of first-order methods via restarts. However, sharpness involves problem-specific constants that are typically unknown, and previous restart schemes reduce convergence rates. Moreover, such schemes are challenging to apply in the presence of noise or approximate model classes (e.g., in compressive imaging or learning problems), and typically assume that the first-order method used produces feasible iterates. We consider the assumption of approximate sharpness, a generalization of sharpness that incorporates an unknown constant perturbation to the objective function error. This constant offers greater robustness (e.g., with respect to noise or relaxation of model classes) for finding approximate minimizers. By employing a new type of search over the unknown constants, we design a restart scheme that applies to general first-order methods and does not require the first-order method to produce feasible iterates. Our scheme maintains the same convergence rate as when assuming knowledge of the constants. The rates of convergence we obtain for various first-order methods either match the optimal rates or improve on previously established rates for a wide range of problems. We showcase our restart scheme on several examples and point to future applications and developments of our framework and theory.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL