Hardness of Low Rank Approximation of Entrywise Transformed Matrix Products

要約

自然言語処理における高速アルゴリズムに触発され、我々は、$f(U \cdot V)$の良いランク$k$近似を求めたいエントリーワイズ変換された設定における低ランク近似を研究する。従って、(1)$U=V^top$と(2)$f(x)$がPSDカーネル関数であれば、$O(nk^{omega-1})$時間一定相対誤差近似アルゴリズムが存在する。この問題に対する最初の条件付き時間ハードネス結果を与え、広いクラスの関数に対して相対誤差低ランク近似で$n^{2-o(1)}$以上の時間を得るためには、条件(1)と(2)の両方が実際に必要であることを示す。また、変換行列$f(UV)$のランクと目標ランクが$n^{o(1)}$であり、$U = V^top$のときでも成り立つ。さらに、$f(x) = x^p$が簡単な多項式であっても、$U \neq V^top$のとき、$Omega(Γmin(n^{2-o(1)}, Γω(2^p)))$の形の実行時下界を与える。最後に、$O(n Γcdot Γtext{poly}(k, 2^p, 1/epsilon))$ 時間の相対誤差近似アルゴリズムと、高速テンソルベースのスケッチを用いた高速$O(n Γcdot Γtext{poly}(k, p, 1/epsilon))$ 加法誤差近似を与えることにより、我々の下界が厳しいことを示す。さらに、我々の低ランクアルゴリズムは行列-ベクトル積サブルーチンに依存しているので、我々の下界は、小さな行列$W$でも$f(UV)W$を計算するのに$Omega(n^{2-o(1)})$時間が必要であることを示す。

要約(オリジナル)

Inspired by fast algorithms in natural language processing, we study low rank approximation in the entrywise transformed setting where we want to find a good rank $k$ approximation to $f(U \cdot V)$, where $U, V^\top \in \mathbb{R}^{n \times r}$ are given, $r = O(\log(n))$, and $f(x)$ is a general scalar function. Previous work in sublinear low rank approximation has shown that if both (1) $U = V^\top$ and (2) $f(x)$ is a PSD kernel function, then there is an $O(nk^{\omega-1})$ time constant relative error approximation algorithm, where $\omega \approx 2.376$ is the exponent of matrix multiplication. We give the first conditional time hardness results for this problem, demonstrating that both conditions (1) and (2) are in fact necessary for getting better than $n^{2-o(1)}$ time for a relative error low rank approximation for a wide class of functions. We give novel reductions from the Strong Exponential Time Hypothesis (SETH) that rely on lower bounding the leverage scores of flat sparse vectors and hold even when the rank of the transformed matrix $f(UV)$ and the target rank are $n^{o(1)}$, and when $U = V^\top$. Furthermore, even when $f(x) = x^p$ is a simple polynomial, we give runtime lower bounds in the case when $U \neq V^\top$ of the form $\Omega(\min(n^{2-o(1)}, \Omega(2^p)))$. Lastly, we demonstrate that our lower bounds are tight by giving an $O(n \cdot \text{poly}(k, 2^p, 1/\epsilon))$ time relative error approximation algorithm and a fast $O(n \cdot \text{poly}(k, p, 1/\epsilon))$ additive error approximation using fast tensor-based sketching. Additionally, since our low rank algorithms rely on matrix-vector product subroutines, our lower bounds extend to show that computing $f(UV)W$, for even a small matrix $W$, requires $\Omega(n^{2-o(1)})$ time.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL