Asymptotic Normality of Generalized Low-Rank Matrix Sensing via Riemannian Geometry

要約

一般化された低ランクマトリックスセンシングの漸近正常保証 – すなわち、一般的な凸損失$ \ bar \ ell（\ langle x、m \ rangle、y^*）$の下でのマトリックスセンシング、$ m \ in \ in \
Mathbb {r}^{d \ times d} $は未知のランクです-$ $ k $ matrix、$ x $は測定マトリックス、$ y^*$は対応する測定です。
私たちの分析は、パラメーター空間の回転対称性による損失のヘシアンの変性を処理するために、Riemannianの幾何学からのツールに依存しています。
特に、低ランクマトリックスのマニホールドを$ \ bar \ theta \ bar \ theta^\ top $によってパラメーター化します。
次に、経験的損失の最小化$ \ bar \ theta^0 \ in \ mathbb {r}^{d \ times k} $は、真のパラメーター$ \ bar \ theta^*$、
$ \ sqrt {n}（\ phi^0- \ phi^*）\ xRightArrow {d} n（0、（h^*）^{-1}）$ as $ n \ to \ infty $を証明します
$ \ phi^0 $および$ \ phi^*$は、$ \ bar \ theta^*$および$ \ bar \ theta^0 $の表現です。
d \ times k}/\ text {o}（k）$、および$ h^*$は、同じ表現における真の損失のヘシアンです。

要約(オリジナル)

We prove an asymptotic normality guarantee for generalized low-rank matrix sensing — i.e., matrix sensing under a general convex loss $\bar\ell(\langle X,M\rangle,y^*)$, where $M\in\mathbb{R}^{d\times d}$ is the unknown rank-$k$ matrix, $X$ is a measurement matrix, and $y^*$ is the corresponding measurement. Our analysis relies on tools from Riemannian geometry to handle degeneracy of the Hessian of the loss due to rotational symmetry in the parameter space. In particular, we parameterize the manifold of low-rank matrices by $\bar\theta\bar\theta^\top$, where $\bar\theta\in\mathbb{R}^{d\times k}$. Then, assuming the minimizer of the empirical loss $\bar\theta^0\in\mathbb{R}^{d\times k}$ is in a constant size ball around the true parameters $\bar\theta^*$, we prove $\sqrt{n}(\phi^0-\phi^*)\xrightarrow{D}N(0,(H^*)^{-1})$ as $n\to\infty$, where $\phi^0$ and $\phi^*$ are representations of $\bar\theta^*$ and $\bar\theta^0$ in the horizontal space of the Riemannian quotient manifold $\mathbb{R}^{d\times k}/\text{O}(k)$, and $H^*$ is the Hessian of the true loss in the same representation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google