Nonnegative Low-rank Matrix Recovery Can Have Spurious Local Minima

要約

古典的な低ランクマトリックス回復の問題は、制限付き等式プロパティ（RIP）の下で\ emphing {venign nonconvexity}を示すことがよく知られています。ローカル最適化は、グラウンドトゥルースが回復するグローバルな最適に収束することが保証されています。
因子マトリックスが要素ごとの非陰性であると制約されている場合、良性の非コンバクシティが保持され続けているかどうかを調査します – 一般的な実用的要件。
RANK-1非陰謀の真実の単純な設定では、RIP定数$ \ delta = 0 $の完全に観察されたケースに良性の非コンベクシティが保持されることを確認します。
しかし、驚くべきことに、このプロパティは、ランクのオーバーパラメーター化に関係なく、任意の小さなRIP定数$ \ delta \ to0^{+} $を任意に小さなRIP定数で拡張することができません。
この発見は、重要な理論的ギャップを明らかにします。低ランクマトリックス回復の経験的堅牢性を説明するために広く使用されている連続性の引数は、非陰性制約が課されると根本的に分解されます。

要約(オリジナル)

The classical low-rank matrix recovery problem is well-known to exhibit \emph{benign nonconvexity} under the restricted isometry property (RIP): local optimization is guaranteed to converge to the global optimum, where the ground truth is recovered. We investigate whether benign nonconvexity continues to hold when the factor matrices are constrained to be elementwise nonnegative — a common practical requirement. In the simple setting of a rank-1 nonnegative ground truth, we confirm that benign nonconvexity holds in the fully-observed case with RIP constant $\delta=0$. Surprisingly, however, this property fails to extend to the partially-observed case with any arbitrarily small RIP constant $\delta\to0^{+}$, irrespective of rank overparameterization. This finding exposes a critical theoretical gap: the continuity argument widely used to explain the empirical robustness of low-rank matrix recovery fundamentally breaks down once nonnegative constraints are imposed.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google