Super Gradient Descent: Global Optimization requires Global Gradient

要約

大域的最小化は最適化、特に機械学習における基本的な課題であり、関数の大域的最小値を見つけることがモデルのパフォーマンスと収束に直接影響します。
このレポートでは、閉区間 [a, b] で定義された k-リプシッツ関数のグローバル最小値への収束を保証する、1 次元関数用に特別に設計された、超勾配降下法と呼ばれる新しい最適化手法を紹介します。
私たちのアプローチは、極小値に囚われることが多い従来の最適化アルゴリズムの制限に対処します。
特に、正確かつ適切にガイドされた全体的な最適化のための堅牢なソリューションを提供する全体的な勾配の概念を導入します。
この研究は、大域的最小化問題に焦点を当てることで、最適化理論の重大なギャップを埋め、さまざまな最適化問題、特にライン探索などの機械学習問題における新たな洞察と実践的な進歩を提供します。

要約(オリジナル)

Global minimization is a fundamental challenge in optimization, especially in machine learning, where finding the global minimum of a function directly impacts model performance and convergence. This report introduces a novel optimization method that we called Super Gradient Descent, designed specifically for one-dimensional functions, guaranteeing convergence to the global minimum for any k-Lipschitz function defined on a closed interval [a, b]. Our approach addresses the limitations of traditional optimization algorithms, which often get trapped in local minima. In particular, we introduce the concept of global gradient which offers a robust solution for precise and well-guided global optimization. By focusing on the global minimization problem, this work bridges a critical gap in optimization theory, offering new insights and practical advancements in different optimization problems in particular Machine Learning problems like line search.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google