The Power of Preconditioning in Overparameterized Low-Rank Matrix Sensing

要約

私たちは、真のランクが不明であり、行列が悪条件である可能性がある場合に、低ランク行列の検出問題に取り組むための事前条件付き勾配降下法 $\textsf{ScaledGD($\lambda$)}$ を提案します。
過剰パラメータ化された因子表現を使用する $\textsf{ScaledGD($\lambda$)}$ は、小さなランダムな初期化から開始し、特定の形式の減衰前処理を使用した勾配降下によって進行し、過剰パラメータ化と悪条件化によって引き起こされる悪い曲率に対処します。
プリコンディショナーによって発生する軽い計算オーバーヘッドを犠牲にして、$\textsf{ScaledGD($\lambda$)}$ は、過剰パラメータ化があった場合でも、バニラ勾配降下法 ($\textsf{GD}$) と比較して、悪条件に対して著しく堅牢です。
具体的には、ガウス設計の下では、$\textsf{ScaledGD($\lambda$)}$ が、少数の反復の後、一定の線形率で真の低ランク行列に収束し、次の点に関して対数的にのみスケーリングされることを示します。
条件番号と問題の次元。
これにより、条件数の多項式依存性があるバニラ $\textsf{GD}$ の収束率よりも大幅に向上します。
私たちの研究は、過剰パラメータ化学習における一般化を損なうことなく収束を加速するための事前条件付けの力についての証拠を提供します。

要約(オリジナル)

We propose $\textsf{ScaledGD($\lambda$)}$, a preconditioned gradient descent method to tackle the low-rank matrix sensing problem when the true rank is unknown, and when the matrix is possibly ill-conditioned. Using overparametrized factor representations, $\textsf{ScaledGD($\lambda$)}$ starts from a small random initialization, and proceeds by gradient descent with a specific form of damped preconditioning to combat bad curvatures induced by overparameterization and ill-conditioning. At the expense of light computational overhead incurred by preconditioners, $\textsf{ScaledGD($\lambda$)}$ is remarkably robust to ill-conditioning compared to vanilla gradient descent ($\textsf{GD}$) even with overprameterization. Specifically, we show that, under the Gaussian design, $\textsf{ScaledGD($\lambda$)}$ converges to the true low-rank matrix at a constant linear rate after a small number of iterations that scales only logarithmically with respect to the condition number and the problem dimension. This significantly improves over the convergence rate of vanilla $\textsf{GD}$ which suffers from a polynomial dependency on the condition number. Our work provides evidence on the power of preconditioning in accelerating the convergence without hurting generalization in overparameterized learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google