Curvature-Aware Derivative-Free Optimization

要約

【タイトル】カーブチュアアウェアな非微分最適化

【要約】
– 本論文は、勾配や方向導関数へのアクセスがなく、関数評価のみで関数を最小化する非微分最適化（DFO）について論じている。
– Nelder-Mead や direct search など、勾配ベースの方法を模倣した古典的な DFO 方法は、高次元問題に対して限られたスケーラビリティしか持たない。
– 大規模機械学習アプリケーションの要件により、ミニマルな手続きを備えたゼロ次法が人気を博しており、本論文ではこれらの方法でのステップサイズ $\alpha_k$ の選択に焦点を当てている。
– 提案されたアプローチ、Curvature-Aware Random Search（CARS）は、候補となる $\alpha_{+}$ を計算するために一次および二次の有限差分近似を使用する。
– 強対角性を持つ目的関数について、検索方向が非常に軽微な条件を満たす分布から描かれる場合、CARS は線形収束することが証明されている。
– CARS の Cubic Regularized のバリアントである CARS-CR は、強対角性の仮定がない場合でも $\mathcal{O}(k^{-1})$ の収束率を示す。
– 数値実験により、CARS と CARS-CR がベンチマーク問題セット上で州-of-the-arts に匹敵またはこれを上回ることが示されている。

要約(オリジナル)

The paper discusses derivative-free optimization (DFO), which involves minimizing a function without access to gradients or directional derivatives, only function evaluations. Classical DFO methods, which mimic gradient-based methods, such as Nelder-Mead and direct search have limited scalability for high-dimensional problems. Zeroth-order methods have been gaining popularity due to the demands of large-scale machine learning applications, and the paper focuses on the selection of the step size $\alpha_k$ in these methods. The proposed approach, called Curvature-Aware Random Search (CARS), uses first- and second-order finite difference approximations to compute a candidate $\alpha_{+}$. We prove that for strongly convex objective functions, CARS converges linearly provided that the search direction is drawn from a distribution satisfying very mild conditions. We also present a Cubic Regularized variant of CARS, named CARS-CR, which converges in a rate of $\mathcal{O}(k^{-1})$ without the assumption of strong convexity. Numerical experiments show that CARS and CARS-CR match or exceed the state-of-the-arts on benchmark problem sets.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI