HOUDINI: Escaping from Moderately Constrained Saddles

要約

タイトル： HOUDINI：Moderately Constrained Saddlesを脱出する

要約：高次元サドル点から脱出するための初の多項式時間アルゴリズムを提供します。スムーズな関数$f：\mathbb {R} ^ d \to \mathbb {R}$に対して勾配アクセスが与えられた場合、（ノイズのある）勾配降下法が不等式制約の対数的数の下でサドル点から脱出することができることを示します。これは、NPオラクルの依存性や、特定の制約に対応する定義変更に頼らない、Geらの突破口の研究に関する最初の具体的な進展です。結果は通常の勾配降下法と確率的勾配降下法の両方に適用されます。

– 高次元サドル点から脱出するための初の多項式時間アルゴリズムを提供する。
– スムーズな関数$f：\mathbb {R} ^ d \to \mathbb {R}$に対して勾配アクセスが与えられた場合、（ノイズのある）勾配降下法が制約の対数的数の下でサドル点から脱出することができることを示す。
– NPオラクルの依存性や、特定の制約に対応する定義変更に頼らない、Geらの突破口の研究に関する最初の具体的な進展。
– 結果は通常の勾配降下法と確率的勾配降下法の両方に適用される。

要約(オリジナル)

We give the first polynomial time algorithms for escaping from high-dimensional saddle points under a moderate number of constraints. Given gradient access to a smooth function $f \colon \mathbb R^d \to \mathbb R$ we show that (noisy) gradient descent methods can escape from saddle points under a logarithmic number of inequality constraints. This constitutes the first tangible progress (without reliance on NP-oracles or altering the definitions to only account for certain constraints) on the main open question of the breakthrough work of Ge et al. who showed an analogous result for unconstrained and equality-constrained problems. Our results hold for both regular and stochastic gradient descent.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI