Random Subspace Cubic-Regularization Methods, with Applications to Low-Rank Functions

要約

我々は、Cubics (ARC) アルゴリズムを使用した 2 次適応正則化のランダム部分空間バリアントを提案し、分析します。
これらの方法では、探索空間をパラメータのランダムな部分空間に繰り返し制限し、この部分空間内のみでローカル モデルを構築および最小化します。
したがって、私たちの変形は、一次および二次問題導関数の（低次元）射影へのアクセスのみを必要とし、削減されたステップを安価に計算します。
適切な仮定の下で、以下の方法は、(フル次元) 3 次正則化の最適な 1 次および 2 次のグローバル収束速度を維持しながら、特に低ランク関数に適用した場合に、理論的にも数値的にもスケーラビリティの向上を示します。
後者に適用すると、適応バリアントは、事前に知ることなく、部分空間サイズを関数の真のランクに自然に適応させます。

要約(オリジナル)

We propose and analyze random subspace variants of the second-order Adaptive Regularization using Cubics (ARC) algorithm. These methods iteratively restrict the search space to some random subspace of the parameters, constructing and minimizing a local model only within this subspace. Thus, our variants only require access to (small-dimensional) projections of first- and second-order problem derivatives and calculate a reduced step inexpensively. Under suitable assumptions, the ensuing methods maintain the optimal first-order, and second-order, global rates of convergence of (full-dimensional) cubic regularization, while showing improved scalability both theoretically and numerically, particularly when applied to low-rank functions. When applied to the latter, our adaptive variant naturally adapts the subspace size to the true rank of the function, without knowing it a priori.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google