An Algebraically Converging Stochastic Gradient Descent Algorithm for Global Optimization

要約

非コンベックス最適化問題のグローバルオプティマイザーを見つけるための確率的項を追加した新しい勾配降下アルゴリズムを提案します。
アルゴリズムの重要なコンポーネントは、目的関数の値に基づくランダム性の適応チューニングです。
シミュレートされたアニーリングの言語では、温度は状態に依存します。
これにより、アルゴリズムのグローバルな収束が、確率とパラメーター空間の両方で代数速度を持つことを証明します。
これは、ノイズ用語のより簡単な制御を使用することによる古典的なレートよりも大幅な改善です。
収束証明は、文献で頻繁に行われるように頻繁に行われる連続制限だけでなく、アルゴリズムの実際の離散セットアップに基づいています。
また、合理的に複雑な目的関数のアルゴリズムの効率と堅牢性を示すために、いくつかの数値例を示します。

要約(オリジナル)

We propose a new gradient descent algorithm with added stochastic terms for finding the global optimizers of nonconvex optimization problems. A key component in the algorithm is the adaptive tuning of the randomness based on the value of the objective function. In the language of simulated annealing, the temperature is state-dependent. With this, we prove the global convergence of the algorithm with an algebraic rate both in probability and in the parameter space. This is a significant improvement over the classical rate from using a more straightforward control of the noise term. The convergence proof is based on the actual discrete setup of the algorithm, not just its continuous limit as often done in the literature. We also present several numerical examples to demonstrate the efficiency and robustness of the algorithm for reasonably complex objective functions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google