Over-parametrization via Lifting for Low-rank Matrix Sensing: Conversion of Spurious Solutions to Strict Saddle Points

要約

この論文では、非凸最適化問題を解決する際の過剰パラメータ化の役割を研究しています。
重要なクラスの低ランク マトリックス センシングに焦点を当てており、リフティング手法と Burer-Monteiro 分解を介して非凸問題の無限階層を提案します。
これは、検索ランクが行列の次元によって制限され、任意の程度の豊富な過剰パラメーター化を許可しない既存の過剰パラメーター化手法とは対照的です。
問題の疑似解は階層全体で静止点のままですが、(技術的な条件によっては) 厳密な鞍点に変換され、局所探索法によって回避できることを示します。
これは、過度のパラメータ化がスプリアス ソリューションを回避するための負の曲率を作成することを示す文献の最初の結果です。
また、スプリアス ソリューションを排除できるようにするために必要な過剰パラメータ化の限界も導き出します。

要約(オリジナル)

This paper studies the role of over-parametrization in solving non-convex optimization problems. The focus is on the important class of low-rank matrix sensing, where we propose an infinite hierarchy of non-convex problems via the lifting technique and the Burer-Monteiro factorization. This contrasts with the existing over-parametrization technique where the search rank is limited by the dimension of the matrix and it does not allow a rich over-parametrization of an arbitrary degree. We show that although the spurious solutions of the problem remain stationary points through the hierarchy, they will be transformed into strict saddle points (under some technical conditions) and can be escaped via local search methods. This is the first result in the literature showing that over-parametrization creates a negative curvature for escaping spurious solutions. We also derive a bound on how much over-parametrization is requited to enable the elimination of spurious solutions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google