Optimal Oblivious Subspace Embeddings with Near-optimal Sparsity

要約

忘却部分空間埋め込みは、任意の $d$ 次元部分空間について、高い確率で $\Pi$ がその部分空間内のすべてのベクトルのノルムを $1\ 以内に保存するような、ランダムな $m\times n$ 行列 $\Pi$ です。
pm\epsilon$ 係数。
この研究では、ゼロ以外の $\tilde O(1/\epsilon)$ のほぼ最適なスパース性を持つ、最適な次元 $m=\Theta(d/\epsilon^2)$ を持つ忘却部分空間埋め込みを与えます。
$\Pi$ の列ごとのエントリ。
これは、最適な忘却部分空間埋め込みによって達成可能な最高のスパース性という点で、Nelson と Nguyen の予想 [FOCS 2013] にほぼ一致する最初の結果であり、$\tilde O(1/\epsilon^6) の以前の限界を改善しています。
列ごとにゼロ以外の$ [Chenakkod et al., STOC 2024]。
私たちはこのアプローチを非忘却設定にさらに拡張し、行列近似および回帰タスクの実行時間を短縮する、独立列を使用したレバレッジ スコア スパース化埋め込みの新しいファミリーを提案します。
私たちの分析では、等方性ランダム行列のエッジ普遍性誤差を制限するために、キュムラント法とデカップリング引数を併用する新しい方法を開発しました。
最適に近いスパース性を達成するために、この汎用アプローチと、部分空間埋め込み構築の特定の構造を利用する新しいトレース不等式を組み合わせます。

要約(オリジナル)

An oblivious subspace embedding is a random $m\times n$ matrix $\Pi$ such that, for any $d$-dimensional subspace, with high probability $\Pi$ preserves the norms of all vectors in that subspace within a $1\pm\epsilon$ factor. In this work, we give an oblivious subspace embedding with the optimal dimension $m=\Theta(d/\epsilon^2)$ that has a near-optimal sparsity of $\tilde O(1/\epsilon)$ non-zero entries per column of $\Pi$. This is the first result to nearly match the conjecture of Nelson and Nguyen [FOCS 2013] in terms of the best sparsity attainable by an optimal oblivious subspace embedding, improving on a prior bound of $\tilde O(1/\epsilon^6)$ non-zeros per column [Chenakkod et al., STOC 2024]. We further extend our approach to the non-oblivious setting, proposing a new family of Leverage Score Sparsified embeddings with Independent Columns, which yield faster runtimes for matrix approximation and regression tasks. In our analysis, we develop a new method which uses a decoupling argument together with the cumulant method for bounding the edge universality error of isotropic random matrices. To achieve near-optimal sparsity, we combine this general-purpose approach with new traces inequalities that leverage the specific structure of our subspace embedding construction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google