Oja’s Algorithm for Sparse PCA

要約

$d$ 次元空間内の $n$ データポイントの主成分分析 (PCA) をストリーミングするための Oja のアルゴリズムは、$O( のオフライン アルゴリズムと同じ正弦二乗誤差 $O(r_\mathsf{eff}/n)$ を達成します。
d)$ 空間、$O(nd)$ 時間、およびデータポイントを通過する単一パス。
ここで、$r_\mathsf{eff}$ は有効ランク (トレースと母集団共分散行列 $\Sigma$ の主固有値の比) です。
この計算予算の下で、$\Sigma$ の主固有ベクトルが $s$-sparse であり、$r_\mathsf{eff}$ が大きくなる可能性がある、スパース PCA の問題を検討します。
この設定では、私たちの知る限り、強力な初期化条件を必要とせず、または仮定することなく $O(d)$ 空間と $O(nd)$ 時間で最小誤差限界を達成する \textit{既知のシングルパス アルゴリズムはありません}
共分散行列のさらなる構造（スパイクなど）。
Oja のアルゴリズムの出力 (Oja ベクトル) を閾値処理する単純なシングルパス手順が、$O(d)$ 空間および $O(nd)$ 時間におけるいくつかの規則性条件下で最小誤差限界を達成できることを示します。
$r_\mathsf{eff}=O(n/\log n)$。
我々は、非正規化 Oja ベクトルのエントリの非自明で新しい分析を提示します。これには、ランダムな初期ベクトルへの独立したランダム行列の積の射影が含まれます。
これは、$r_\mathsf{eff}$ が制限されている場合に行われた、Oja のアルゴリズムと行列積の以前の分析とは完全に異なります。

要約(オリジナル)

Oja’s algorithm for streaming Principal Component Analysis (PCA) for $n$ datapoints in a $d$ dimensional space achieves the same sin-squared error $O(r_\mathsf{eff}/n)$ as the offline algorithm in $O(d)$ space and $O(nd)$ time and a single pass through the datapoints. Here $r_\mathsf{eff}$ is the effective rank (ratio of the trace and the principal eigenvalue of the population covariance matrix $\Sigma$). Under this computational budget, we consider the problem of sparse PCA, where the principal eigenvector of $\Sigma$ is $s$-sparse, and $r_\mathsf{eff}$ can be large. In this setting, to our knowledge, \textit{there are no known single-pass algorithms} that achieve the minimax error bound in $O(d)$ space and $O(nd)$ time without either requiring strong initialization conditions or assuming further structure (e.g., spiked) of the covariance matrix. We show that a simple single-pass procedure that thresholds the output of Oja’s algorithm (the Oja vector) can achieve the minimax error bound under some regularity conditions in $O(d)$ space and $O(nd)$ time as long as $r_\mathsf{eff}=O(n/\log n)$. We present a nontrivial and novel analysis of the entries of the unnormalized Oja vector, which involves the projection of a product of independent random matrices on a random initial vector. This is completely different from previous analyses of Oja’s algorithm and matrix products, which have been done when the $r_\mathsf{eff}$ is bounded.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google