Optimal Embedding Dimension for Sparse Subspace Embeddings

要約

ランダムな $m\times n$ 行列 $S$ は、パラメーター $\epsilon>0$、$\delta\in(0,1/3)$ および $d\leq m\leq を持つオブリビアス部分空間埋め込み (OSE) です。
n$、$d$ 次元の部分空間 $W\subseteq R^n$ の場合、$P\big(\,\forall_{x\in W}\ (1+\epsilon)^{-1}\|
x\|\leq\|Sx\|\leq (1+\epsilon)\|x\|\,\big)\geq 1-\delta.$ OSE の埋め込み次元は $m を満たす必要があることが知られています
\geq d$、および $\theta > 0$ の場合、$m\geq (1+\theta) d$ のガウス埋め込み行列は、$\epsilon = O_\theta(1)$ の OSE です。
ただし、このような最適な埋め込み寸法は、他の埋め込みでは知られていません。
特に興味深いのは、列ごとに $s\ll m$ の非ゼロを持つスパース OSE で、最小二乗回帰や低ランク近似などの問題に適用できます。
任意の $\theta > 0$ が与えられた場合、ランダムにスパース化された $\pm1/\sqrt s$ から構成される $m\geq (1+\theta)d$ を持つ $m\times n$ ランダム行列 $S$ が存在することを示します。
エントリがあり、列ごとに $s= O(\log^4(d))$ 非ゼロがある場合は、$\epsilon = O_{\theta}(1)$ で埋め込まれた目立たない部分空間です。
私たちの結果は、Nelson と Nguyen (FOCS 2013) によって提起された主な未解決の疑問に対処しています。彼らは、スパース OSE は $m=O(d)$ の埋め込み次元を達成できると推測し、$m=O(d\log(d) を改善します)
)$ はコーエンによって示されています (SODA 2016)。
これを使用して、現在の行列乗算時間よりも速く適用できる $O(d)$ 埋め込み次元を持つ最初の忘却部分空間埋め込みを構築し、最小二乗回帰に最適なシングルパス アルゴリズムを取得します。
結果をさらに拡張して、さらにまばらな非忘却埋め込みを構築し、低歪み $\epsilon=o(1)$ と最適な埋め込み次元 $m=O(d/\epsilon^2)$ を備えた最初の部分空間埋め込みを導き出します。
現在の行列乗算時間に適用できます。

要約(オリジナル)

A random $m\times n$ matrix $S$ is an oblivious subspace embedding (OSE) with parameters $\epsilon>0$, $\delta\in(0,1/3)$ and $d\leq m\leq n$, if for any $d$-dimensional subspace $W\subseteq R^n$, $P\big(\,\forall_{x\in W}\ (1+\epsilon)^{-1}\|x\|\leq\|Sx\|\leq (1+\epsilon)\|x\|\,\big)\geq 1-\delta.$ It is known that the embedding dimension of an OSE must satisfy $m\geq d$, and for any $\theta > 0$, a Gaussian embedding matrix with $m\geq (1+\theta) d$ is an OSE with $\epsilon = O_\theta(1)$. However, such optimal embedding dimension is not known for other embeddings. Of particular interest are sparse OSEs, having $s\ll m$ non-zeros per column, with applications to problems such as least squares regression and low-rank approximation. We show that, given any $\theta > 0$, an $m\times n$ random matrix $S$ with $m\geq (1+\theta)d$ consisting of randomly sparsified $\pm1/\sqrt s$ entries and having $s= O(\log^4(d))$ non-zeros per column, is an oblivious subspace embedding with $\epsilon = O_{\theta}(1)$. Our result addresses the main open question posed by Nelson and Nguyen (FOCS 2013), who conjectured that sparse OSEs can achieve $m=O(d)$ embedding dimension, and it improves on $m=O(d\log(d))$ shown by Cohen (SODA 2016). We use this to construct the first oblivious subspace embedding with $O(d)$ embedding dimension that can be applied faster than current matrix multiplication time, and to obtain an optimal single-pass algorithm for least squares regression. We further extend our results to construct even sparser non-oblivious embeddings, leading to the first subspace embedding with low distortion $\epsilon=o(1)$ and optimal embedding dimension $m=O(d/\epsilon^2)$ that can be applied in current matrix multiplication time.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google