SoS Certificates for Sparse Singular Values and Their Applications: Robust Statistics, Subspace Distortion, and More

要約

ランダムな長方形行列に対する $\textit{疎特異値証明書}$ を研究します。
$M$ が独立したガウス要素を持つ $n \times d$ 行列である場合、$\|M u\|$ の最大値の上限を証明できる多項式時間アルゴリズムの新しいファミリーを与えます。ここで $u$
は、指定された $\eta \in (0,1)$ に対して最大でも $\eta n$ 非ゼロのエントリを持つ単位ベクトルです。
この基本的なアルゴリズムのプリミティブは、アルゴリズム統計と理論的なコンピューター サイエンスにわたる幅広い問題の中心にあります。
私たちのアルゴリズムは、$n,d,$ と $\eta$ のほぼ可能な限り広い範囲について、$M$ の最大特異値によって与えられる単純な境界よりも漸近的に小さい境界を証明します。
$n,d$ と $\eta$ の範囲に対して、私たちのアルゴリズムで達成される値よりも多項式係数だけ大きい境界を効率的に証明すると、SQ モデルおよび低次多項式モデルの下限に違反します。
当社の認証アルゴリズムでは、二乗和階層が基本的に使用されます。
私たちのアルゴリズムの正しさを証明するために、依存エントリを持つランダム行列を分析するグラフ行列アプローチと、独立した確率変数の関数のエフロン・スタイン分解との間の新しい組み合わせ接続を開発します。
当社の認証アルゴリズムの応用として、十分に研究された広範囲のアルゴリズム タスクに対応する新しい効率的なアルゴリズムを取得します。
アルゴリズムのロバスト統計では、分解点とサンプルの複雑さの間のトレードオフを伴うロバストな平均と共分散推定のための新しいアルゴリズムが得られます。これは、SQ と低次多項式の下限 (私たちが確立した) によってほぼ一致します。
また、$\mathbb{R}^n$ のランダム部分空間の $\ell_1/\ell_2$ 歪みの証明 (下限もほぼ一致)、疎な主成分分析、および
$2\rightarrow p$ ランダム行列のノルム。

要約(オリジナル)

We study $\textit{sparse singular value certificates}$ for random rectangular matrices. If $M$ is an $n \times d$ matrix with independent Gaussian entries, we give a new family of polynomial-time algorithms which can certify upper bounds on the maximum of $\|M u\|$, where $u$ is a unit vector with at most $\eta n$ nonzero entries for a given $\eta \in (0,1)$. This basic algorithmic primitive lies at the heart of a wide range of problems across algorithmic statistics and theoretical computer science. Our algorithms certify a bound which is asymptotically smaller than the naive one, given by the maximum singular value of $M$, for nearly the widest-possible range of $n,d,$ and $\eta$. Efficiently certifying such a bound for a range of $n,d$ and $\eta$ which is larger by any polynomial factor than what is achieved by our algorithm would violate lower bounds in the SQ and low-degree polynomials models. Our certification algorithm makes essential use of the Sum-of-Squares hierarchy. To prove the correctness of our algorithm, we develop a new combinatorial connection between the graph matrix approach to analyze random matrices with dependent entries, and the Efron-Stein decomposition of functions of independent random variables. As applications of our certification algorithm, we obtain new efficient algorithms for a wide range of well-studied algorithmic tasks. In algorithmic robust statistics, we obtain new algorithms for robust mean and covariance estimation with tradeoffs between breakdown point and sample complexity, which are nearly matched by SQ and low-degree polynomial lower bounds (that we establish). We also obtain new polynomial-time guarantees for certification of $\ell_1/\ell_2$ distortion of random subspaces of $\mathbb{R}^n$ (also with nearly matching lower bounds), sparse principal component analysis, and certification of the $2\rightarrow p$ norm of a random matrix.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google