Efficient Line Search Method Based on Regression and Uncertainty Quantification

要約

制約のない最適化問題は通常、反復法を使用して解決されます。反復法は、多くの場合、各反復で最適なステップ長を決定するためのライン探索手法に依存します。
この論文では、新しいライン探索アプローチを紹介します。
最適な歩幅を決定することを目的とした従来のライン探索方法では、多くの場合、探索プロセスから貴重なデータが破棄され、歩幅の間隔を調整することに焦点が当てられます。
この論文では、ベイジアン最適化を使用したより効率的な方法を提案します。これは、利用可能なすべてのデータポイント、つまり関数値と勾配を利用して、潜在的なグローバル最小値に向けて検索をガイドします。
この新しいアプローチにより、検索空間がより効果的に探索され、ソリューションの品質が向上します。
実装や既存のフレームワークへの統合も簡単です。
困難な CUTEst テスト セットでテストされた結果、既存の最先端の方法と比較して優れたパフォーマンスが実証され、同等のリソース使用量でより多くの問題を最適化して解決します。

要約(オリジナル)

Unconstrained optimization problems are typically solved using iterative methods, which often depend on line search techniques to determine optimal step lengths in each iteration. This paper introduces a novel line search approach. Traditional line search methods, aimed at determining optimal step lengths, often discard valuable data from the search process and focus on refining step length intervals. This paper proposes a more efficient method using Bayesian optimization, which utilizes all available data points, i.e., function values and gradients, to guide the search towards a potential global minimum. This new approach more effectively explores the search space, leading to better solution quality. It is also easy to implement and integrate into existing frameworks. Tested on the challenging CUTEst test set, it demonstrates superior performance compared to existing state-of-the-art methods, solving more problems to optimality with equivalent resource usage.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google