$O(k)$-Equivariant Dimensionality Reduction on Stiefel Manifolds

要約

現実世界のデータセットの多くは、それぞれ高次元のシュティーフェル多様体とグラスマン多様体 $V_k(\mathbb{R}^N)$ と $Gr(k, \mathbb{R}^N)$ 上に存在し、低次元への射影の恩恵を受けています。
-次元シュティーフェル多様体(それぞれ、グラスマン多様体)。
この研究では、データの次元を $O(
k)$-等変方式 ($k \leq n \ll N$)。
まず、V_n(\mathbb{R}^N)$ の各要素 $\alpha \ が $V_k(\mathbb{R}^n)$ の $V_k(\mathbb{R}^ への等角埋め込みを定義していること) を観察することから始めます。
N)$。
次に、主成分分析 (PCA) の出力でウォーム スタートし、勾配降下法を適用することで、データ フィット エラーを最小限に抑える埋め込みマップを最適化します。
次に、データを $V_k(\mathbb{R}^ の画像に投影するための「最近接点演算子」として機能する) 連続かつ $O(k)$ 等変写像 $\pi_\alpha$ を定義します。
$V_k(\mathbb{R}^N)$ 内の n)$ は、歪みを最小限に抑えながら、$\alpha$ によって決定される埋め込みの下で実行されます。
この次元削減は $O(k)$ 等変であるため、これらの結果はグラスマン多様体にも拡張されます。
最後に、ノイズのない設定では PCA 出力が全体的に投影誤差を最小化しますが、データが上記のように線形に埋め込まれた低次元シュティーフェル多様体の画像上に正確に存在しない場合、アルゴリズムは意味のある異なる改善された結果を達成することを示します。
合成データと現実世界のデータを使用した複数の数値実験が実行されます。

要約(オリジナル)

Many real-world datasets live on high-dimensional Stiefel and Grassmannian manifolds, $V_k(\mathbb{R}^N)$ and $Gr(k, \mathbb{R}^N)$ respectively, and benefit from projection onto lower-dimensional Stiefel (respectively, Grassmannian) manifolds. In this work, we propose an algorithm called Principal Stiefel Coordinates (PSC) to reduce data dimensionality from $ V_k(\mathbb{R}^N)$ to $V_k(\mathbb{R}^n)$ in an $O(k)$-equivariant manner ($k \leq n \ll N$). We begin by observing that each element $\alpha \in V_n(\mathbb{R}^N)$ defines an isometric embedding of $V_k(\mathbb{R}^n)$ into $V_k(\mathbb{R}^N)$. Next, we optimize for such an embedding map that minimizes data fit error by warm-starting with the output of principal component analysis (PCA) and applying gradient descent. Then, we define a continuous and $O(k)$-equivariant map $\pi_\alpha$ that acts as a “closest point operator” to project the data onto the image of $V_k(\mathbb{R}^n)$ in $V_k(\mathbb{R}^N)$ under the embedding determined by $\alpha$, while minimizing distortion. Because this dimensionality reduction is $O(k)$-equivariant, these results extend to Grassmannian manifolds as well. Lastly, we show that the PCA output globally minimizes projection error in a noiseless setting, but that our algorithm achieves a meaningfully different and improved outcome when the data does not lie exactly on the image of a linearly embedded lower-dimensional Stiefel manifold as above. Multiple numerical experiments using synthetic and real-world data are performed.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google