Faster Linear Systems and Matrix Norm Approximation via Multi-level Sketched Preconditioning

要約

$Ax = b$ の形式の線形システムを解くための、新しいクラスの前処理済み反復法の提案します。
私たちの手法は、スパース ランダム スケッチを使用して $A$ に対する低ランク Nystr\’om 近似を構築することに基づいています。
この近似は、プリコンディショナーを構築するために使用されます。プリコンディショナー自体は、追加レベルのランダム スケッチとプリコンディショニングを使用してすぐに反転されます。
私たちの方法の収束は $A$ の自然平均条件数に依存し、Nystr\’om 近似のランクが増加するにつれて向上することを証明します。
具体的には、これにより、多くの基本的な線形代数問題の実行時間を短縮できます。 1. $ の範囲外にある大きな特異値 $k$ を除いて、条件が整った $n\times n$ 線形システムを解く方法を示します。
\tilde{O}(n^{2.065} + k^\omega)$ 時間で、すべての $k \gtrsim n^{0.78}$ について [Derezi\’nski, Yang, STOC 2024] の最近の結果を改善しています。
2. 正則化線形システム $(A + \lambda I)x = b$ を解くための最初の $\tilde{O}(n^2 + {d_\lambda}^{\omega}$) 時間アルゴリズムを与えます。
ここで、$A$ は有効次元 $d_\lambda$ を持つ正の半定値です。
この問題は、ガウス過程回帰などのアプリケーションで発生します。
3. Schatten $p$-norm およびその他の行列ノルムを近似するための高速アルゴリズムを提供します。
たとえば、シャッテン 1 (核) ノルムの場合、$\tilde{O}(n^{2.11})$ 時間で実行されるアルゴリズムを与え、$\tilde{O}(n^{2.18} を改善します)
[Musco et al., ITCS 2018] の)$ メソッド。
興味深いことに、上記の問題のほとんどに対する以前の最先端のアルゴリズムは、確率的座標や勾配降下法などの確率的反復法に依存していました。
私たちの仕事はまったく異なるアプローチを採用しており、代わりにマトリックス スケッチのツールを活用しています。

要約(オリジナル)

We present a new class of preconditioned iterative methods for solving linear systems of the form $Ax = b$. Our methods are based on constructing a low-rank Nystr\’om approximation to $A$ using sparse random sketching. This approximation is used to construct a preconditioner, which itself is inverted quickly using additional levels of random sketching and preconditioning. We prove that the convergence of our methods depends on a natural average condition number of $A$, which improves as the rank of the Nystr\’om approximation increases. Concretely, this allows us to obtain faster runtimes for a number of fundamental linear algebraic problems: 1. We show how to solve any $n\times n$ linear system that is well-conditioned except for $k$ outlying large singular values in $\tilde{O}(n^{2.065} + k^\omega)$ time, improving on a recent result of [Derezi\’nski, Yang, STOC 2024] for all $k \gtrsim n^{0.78}$. 2. We give the first $\tilde{O}(n^2 + {d_\lambda}^{\omega}$) time algorithm for solving a regularized linear system $(A + \lambda I)x = b$, where $A$ is positive semidefinite with effective dimension $d_\lambda$. This problem arises in applications like Gaussian process regression. 3. We give faster algorithms for approximating Schatten $p$-norms and other matrix norms. For example, for the Schatten 1 (nuclear) norm, we give an algorithm that runs in $\tilde{O}(n^{2.11})$ time, improving on an $\tilde{O}(n^{2.18})$ method of [Musco et al., ITCS 2018]. Interestingly, previous state-of-the-art algorithms for most of the problems above relied on stochastic iterative methods, like stochastic coordinate and gradient descent. Our work takes a completely different approach, instead leveraging tools from matrix sketching.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google