A Stochastic-Gradient-based Interior-Point Algorithm for Solving Smooth Bound-Constrained Optimization Problems

要約

タイトル：スムーズでバウンド制約最適化問題を解くための確率勾配ベースの内点アルゴリズム

要約：

– スムーズ（非凸）最適化問題を解決するための内点アルゴリズムである。
– ソチャスティックな勾配推定を使用することで、他の内点メソッドとは異なる方向探索が行われる。
– 具体的には、許容領域内の内側にある領域を定義し、留まるようにすることで計算効率を向上させている。
– バリア、ステップサイズ、ネイバーフードのバランスを調整することで、決定論的および確率的セッティングの両方で収束保証を満たすことができる。
– 結果として、投影（確率勾配）勾配法を上回る結果が得られることが示されている。

要約(オリジナル)

A stochastic-gradient-based interior-point algorithm for minimizing a continuously differentiable objective function (that may be nonconvex) subject to bound constraints is presented, analyzed, and demonstrated through experimental results. The algorithm is unique from other interior-point methods for solving smooth (nonconvex) optimization problems since the search directions are computed using stochastic gradient estimates. It is also unique in its use of inner neighborhoods of the feasible region — defined by a positive and vanishing neighborhood-parameter sequence — in which the iterates are forced to remain. It is shown that with a careful balance between the barrier, step-size, and neighborhood sequences, the proposed algorithm satisfies convergence guarantees in both deterministic and stochastic settings. The results of numerical experiments show that in both settings the algorithm can outperform a projected-(stochastic)-gradient method.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI