The Structural Complexity of Matrix-Vector Multiplication

要約

$ n \ times n $ matrix mを前処理する問題と、任意のVector Vについて、マトリックスベクトル製品MVを返すクエリをサポートする問題を検討します。
この問題は理論と実践の両方で広く研究されています。一方では、実務家は実際に非常に効率的なアルゴリズムを開発しましたが、理論家は、最悪のケースでの素朴な乗算よりも速く問題を解決できないことを証明しています。
この下限は、平均ケースでも保持され、既存の平均ケース分析では理論と実践の間のこのギャップを説明できないことを意味します。
したがって、構造化されたマトリックスの問題を研究します。
Vc-Dimension Dの$ n \ Times N $マトリックスの場合、マトリックスベクトル乗算の問題は、$ \ tilde {o}（n^2）$ preprocessingと$ \ tilde o（n^{2-1/d}）$ query時間で解決できることを示します。
ほとんどの実際のデータで観察された低い一定のVC次元を考えると、我々の結果は、実際に問題をより速く解決できる理由の説明を提起しています。
さらに、マトリックスにVC次元が低くない場合でも、我々の境界は保持されますが、未知の低VC次元マトリックスの最大数のエントリの（おそらく敵対的に）破損することによって（おそらく敵対的に）破損することによって得られます。
私たちの結果は、多くのアプリケーションで最初の非自明な上限をもたらします。
以前の作品では、オンラインマトリックスベクトル仮説（クエリごとに二次時間が必要であると推測する）を使用して多くの条件付き下限を証明し、最短のパス、ラプラシアンソルバー、効果的な耐性、およびサブキャドラティックの挿入と削除の対象となるグラフの三角形の検出の高精度の推定値を計算および維持することは不可能であることを示しています。
しかし、マトリックスベクターの拡大結果を減らすことにより、入力が構造化されている場合は前述の問題を効率的に維持できることを示し、高精度体制の最初の亜二次上の上限を提供します。

要約(オリジナル)

We consider the problem of preprocessing an $n\times n$ matrix M, and supporting queries that, for any vector v, returns the matrix-vector product Mv. This problem has been extensively studied in both theory and practice: on one side, practitioners have developed algorithms that are highly efficient in practice, whereas theoreticians have proven that the problem cannot be solved faster than naive multiplication in the worst-case. This lower bound holds even in the average-case, implying that existing average-case analyses cannot explain this gap between theory and practice. Therefore, we study the problem for structured matrices. We show that for $n\times n$ matrices of VC-dimension d, the matrix-vector multiplication problem can be solved with $\tilde{O}(n^2)$ preprocessing and $\tilde O(n^{2-1/d})$ query time. Given the low constant VC-dimensions observed in most real-world data, our results posit an explanation for why the problem can be solved so much faster in practice. Moreover, our bounds hold even if the matrix does not have a low VC-dimension, but is obtained by (possibly adversarially) corrupting at most a subquadratic number of entries of any unknown low VC-dimension matrix. Our results yield the first non-trivial upper bounds for many applications. In previous works, the online matrix-vector hypothesis (conjecturing that quadratic time is needed per query) was used to prove many conditional lower bounds, showing that it is impossible to compute and maintain high-accuracy estimates for shortest paths, Laplacian solvers, effective resistance, and triangle detection in graphs subject to node insertions and deletions in subquadratic time. Yet, via a reduction to our matrix-vector-multiplication result, we show we can maintain the aforementioned problems efficiently if the input is structured, providing the first subquadratic upper bounds in the high-accuracy regime.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google