Fine-grained Analysis and Faster Algorithms for Iteratively Solving Linear Systems

要約

実際には効果的ですが、大規模な線形方程式系を解くための反復法は、問題に依存する条件数の量に大きく影響される可能性があります。
このため、特に、前処理や高速行列乗算に依存する場合も依存しない場合もある決定論的手法と確率的手法の間で比較を行う場合、時間計算量の特性評価が困難になります。
この研究では、$\ell$ 番目に大きい特異値と最も小さい特異値の間の比として定義されるスペクトル テール条件番号 $\kappa_\ell$ と呼ばれる、反復線形ソルバーの複雑さのきめの細かい概念を検討します。
システムを表す行列の。
具体的には、次の主要なアルゴリズム結果を証明します。 $n\times n$ 行列 $A$ とベクトル $b$ が与えられると、$\|A\tilde{x} となる $\tilde{x}$ を見つけることができます。
-b\|\leq\epsilon\|b\|$ 時間内 $\tilde{O}(\kappa_\ell\cdot n^2\log 1/\epsilon)$ 任意の $\ell = O(n^
{\frac1{\omega-1}})=O(n^{0.729})$、ここで $\omega \およそ 2.372$ は現在の高速行列乗算の指数です。
この保証は、Nesterov のアクセラレーションを備えたスケッチ アンド プロジェクトによって実現されます。
私たちの結果と $\kappa_\ell$ の使用の意味の一部には、共役勾配法のきめ細かい解析に対する直接的な改善が含まれており、これは決定論的反復ソルバーと確率的反復ソルバーの間のより強力な分離を示唆しています。
$\ell$ の境界が $\omega$ によって改善されるため、反復ソルバーの複雑さを高速行列乗算の進行中のアルゴリズムの進歩に関連付けます。
私たちの主な技術的貢献は、スケッチ アルゴリズムで一般的に発生するランダム射影行列の 1 番目と 2 番目のモーメントの新しい明確な特徴付けであり、決定点プロセスを介した組み合わせサンプリングによる手法とランダム行列理論からのガウス普遍性の結果の組み合わせに基づいています。

要約(オリジナル)

While effective in practice, iterative methods for solving large systems of linear equations can be significantly affected by problem-dependent condition number quantities. This makes characterizing their time complexity challenging, particularly when we wish to make comparisons between deterministic and stochastic methods, that may or may not rely on preconditioning and/or fast matrix multiplication. In this work, we consider a fine-grained notion of complexity for iterative linear solvers which we call the spectral tail condition number, $\kappa_\ell$, defined as the ratio between the $\ell$th largest and the smallest singular value of the matrix representing the system. Concretely, we prove the following main algorithmic result: Given an $n\times n$ matrix $A$ and a vector $b$, we can find $\tilde{x}$ such that $\|A\tilde{x}-b\|\leq\epsilon\|b\|$ in time $\tilde{O}(\kappa_\ell\cdot n^2\log 1/\epsilon)$ for any $\ell = O(n^{\frac1{\omega-1}})=O(n^{0.729})$, where $\omega \approx 2.372$ is the current fast matrix multiplication exponent. This guarantee is achieved by Sketch-and-Project with Nesterov’s acceleration. Some of the implications of our result, and of the use of $\kappa_\ell$, include direct improvement over a fine-grained analysis of the Conjugate Gradient method, suggesting a stronger separation between deterministic and stochastic iterative solvers; and relating the complexity of iterative solvers to the ongoing algorithmic advances in fast matrix multiplication, since the bound on $\ell$ improves with $\omega$. Our main technical contributions are new sharp characterizations for the first and second moments of the random projection matrix that commonly arises in sketching algorithms, building on a combination of techniques from combinatorial sampling via determinantal point processes and Gaussian universality results from random matrix theory.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google