Adaptive Backtracking For Faster Optimization

要約

バックトラッキングライン探索は数値最適化の基礎です。
基本的な考え方は、選択した基準 (Armijo、Goldstein、Descent Lemma など) が満たされるまで、アルゴリズムのステップ サイズを定数係数で調整することです。
我々は、追加の計算負荷をかけずに、通常のバックトラッキングで使用される定数係数を、選択した基準に違反する程度を考慮した係数に置き換えて、ステップ サイズを調整する新しい方法を提案します。
凸型問題の場合、適応バックトラッキングの方が、一般的な 2 つのライン探索条件 (Armijo 条件と降下補題) に対して通常のバックトラッキングよりも実行可能なステップ サイズを生成するために必要な調整が少ないことが証明されました。
非凸の滑らかな問題については、適応バックトラッキングが通常のバックトラッキングと同じ保証を享受できることをさらに証明します。
最後に、15 を超える現実世界のデータセットに対してさまざまな実験を実行しました。そのすべてで、適応的バックトラッキングが多くの場合、大幅に高速な最適化につながることが確認されました。

要約(オリジナル)

Backtracking line search is foundational in numerical optimization. The basic idea is to adjust the step size of an algorithm by a constant factor until some chosen criterion (e.g. Armijo, Goldstein, Descent Lemma) is satisfied. We propose a new way for adjusting step sizes, replacing the constant factor used in regular backtracking with one that takes into account the degree to which the chosen criterion is violated, without additional computational burden. For convex problems, we prove adaptive backtracking requires fewer adjustments to produce a feasible step size than regular backtracking does for two popular line search criteria: the Armijo condition and the descent lemma. For nonconvex smooth problems, we additionally prove adaptive backtracking enjoys the same guarantees of regular backtracking. Finally, we perform a variety of experiments on over fifteen real world datasets, all of which confirm that adaptive backtracking often leads to significantly faster optimization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google