Convergence Conditions for Stochastic Line Search Based Optimization of Over-parametrized Models

要約

この論文では、通常は内挿条件を満たす、オーバーパラメータ化されたモデルのフィッティングに関連する有限和問題を解決するアルゴリズムを扱います。
特に、確率的ライン探索と一般的な探索方向の採用に基づくアプローチに焦点を当てます。
私たちは、バックトラック手順の有限終了と境界を保証する検索方向のシーケンスに関する条件を定義します。
さらに、補間領域の PL 関数に適用した場合に、アルゴリズムの一般クラスの高速 (線形) 収束を証明するために必要な方向の追加の特性に光を当てました。
アルゴリズム設計の観点から、提案された分析は、関連するアルゴリズムのフレームワークで使用できる保護条件を特定します。
特に、運動量、共役勾配、または適応型事前調整法内に確率的ライン検索を統合することは興味深い可能性があります。

要約(オリジナル)

In this paper, we deal with algorithms to solve the finite-sum problems related to fitting over-parametrized models, that typically satisfy the interpolation condition. In particular, we focus on approaches based on stochastic line searches and employing general search directions. We define conditions on the sequence of search directions that guarantee finite termination and bounds for the backtracking procedure. Moreover, we shed light on the additional property of directions needed to prove fast (linear) convergence of the general class of algorithms when applied to PL functions in the interpolation regime. From the point of view of algorithms design, the proposed analysis identifies safeguarding conditions that could be employed in relevant algorithmic framework. In particular, it could be of interest to integrate stochastic line searches within momentum, conjugate gradient or adaptive preconditioning methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google