Sharp Global Guarantees for Nonconvex Low-rank Recovery in the Noisy Overparameterized Regime

要約

最近の研究により、ランクのオーバーパラメーター化は、制限された等式プロパティ（RIP）の下での非凸型の低ランクマトリックス回復における偽の局所ミニマを排除することが確立されました。
しかし、これは、すべてのローカルミニマがグローバルであっても、実際のアルゴリズムが非収縮サドルポイント（任意の小さな負の湾曲を伴うおおよその2次ポイント）に閉じ込められる可能性があるため、オーバーパラメーター化の実際的な成功を完全には説明していません。
さらに、結果は騒々しい測定には対応しませんが、オーバーパラメーター化された体制ですでに知られている多くの不連続で直感的ではない行動を考慮して、そのような拡張が可能であるかどうかは不明です。
この論文では、騒々しいオーバーパラメーター化された体制で鋭いグローバルな保証を提供するために、脱出方向に基づいた2つの以前に競合するアプローチを統合、簡素化、および強化する新しい証拠技術を紹介します。
局所的な最小値がわずかなオーバーパラメーター化によりグローバルミニマに変換されると、ほぼ2秒のポイントが、より高価な凸のアプローチと同じ最小限の最適な回復境界（小さな定数因子まで）を達成することを示します。
私たちの結果は、ノイズレベルとソリューションの精度に関して鋭く、対称パラメーター化$ xx^{t} $の両方と、バランスのとれた正規者の下の非対称パラメーター化$ uv^{t} $の両方を保持します。
バランスのとれた正規者が実際に必要であることを実証します。

要約(オリジナル)

Recent work established that rank overparameterization eliminates spurious local minima in nonconvex low-rank matrix recovery under the restricted isometry property (RIP). But this does not fully explain the practical success of overparameterization, because real algorithms can still become trapped at nonstrict saddle points (approximate second-order points with arbitrarily small negative curvature) even when all local minima are global. Moreover, the result does not accommodate for noisy measurements, but it is unclear whether such an extension is even possible, in view of the many discontinuous and unintuitive behaviors already known for the overparameterized regime. In this paper, we introduce a novel proof technique that unifies, simplifies, and strengthens two previously competing approaches — one based on escape directions and the other based on the inexistence of counterexample — to provide sharp global guarantees in the noisy overparameterized regime. We show, once local minima have been converted into global minima through slight overparameterization, that near-second-order points achieve the same minimax-optimal recovery bounds (up to small constant factors) as significantly more expensive convex approaches. Our results are sharp with respect to the noise level and the solution accuracy, and hold for both the symmetric parameterization $XX^{T}$, as well as the asymmetric parameterization $UV^{T}$ under a balancing regularizer; we demonstrate that the balancing regularizer is indeed necessary.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google