Can Learning Be Explained By Local Optimality In Robust Low-rank Matrix Recovery?

要約

m$ 個の線形の測定値から、ランク $r$ の $d_1times d_2$ 行列 $X^star$ を再構成することに焦点を当て、低ランク行列回復の局所風景を探索する。ノイズが外れ値モデルに従って分布している場合、簡単な副勾配法で非平滑$ell_1$-lossを最小化すると、多くの場合、基底真理行列$X^star$を完全に復元できる。これを考えると、このような学習動作を可能にする最適化特性は何か（もしあれば）というのが自然な疑問である。最も妥当な答えは、基底真理$X^star$が損失関数の局所最適として現れることである。本論文では、この疑問に対する強い否定的な答えを提供し、適度な仮定の下で、$X^star$に対応する真の解は局所最適として現れるのではなく、厳密な鞍点（少なくとも一方向に厳密に負の曲率を持つ臨界点）として現れることを示す。我々の発見は、全ての厳密な鞍点は望ましくないので避けるべきであるという従来の信念を覆すものである。

要約(オリジナル)

We explore the local landscape of low-rank matrix recovery, focusing on reconstructing a $d_1\times d_2$ matrix $X^\star$ with rank $r$ from $m$ linear measurements, some potentially noisy. When the noise is distributed according to an outlier model, minimizing a nonsmooth $\ell_1$-loss with a simple sub-gradient method can often perfectly recover the ground truth matrix $X^\star$. Given this, a natural question is what optimization property (if any) enables such learning behavior. The most plausible answer is that the ground truth $X^\star$ manifests as a local optimum of the loss function. In this paper, we provide a strong negative answer to this question, showing that, under moderate assumptions, the true solutions corresponding to $X^\star$ do not emerge as local optima, but rather as strict saddle points — critical points with strictly negative curvature in at least one direction. Our findings challenge the conventional belief that all strict saddle points are undesirable and should be avoided.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL