要約
現実世界のデータセットの多くは、それぞれ高次元のシュティーフェル多様体とグラスマン多様体 $V_k(\mathbb{R}^N)$ と $Gr(k, \mathbb{R}^N)$ 上に存在し、低次元への射影の恩恵を受けています。
-次元のシュティーフェル多様体とグラスマン多様体。
この研究では、データの次元を $V_k(\mathbb{R}^N)$ から $V_k(\mathbb{R}^n)$ に削減する \textit{主シュティーフェル座標 (PSC)} と呼ばれるアルゴリズムを提案します。
\textit{$O(k)$-equivariant} 方式 ($k \leq n \ll N$)。
まず、V_n(\mathbb{R}^N)$ の各要素 $\alpha \ が $V_k(\mathbb{R}^n)$ の $V_k(\mathbb{R}^ への等角埋め込みを定義していること) を観察することから始めます。
N)$。
次に、適切な埋め込みマップ $\alpha$ を見つける 2 つの方法について説明します。1 つは主成分分析の拡張 ($\alpha_{PCA}$) によるもの、もう 1 つは勾配降下法 ($\alpha_
{GD}$)。
次に、データを $V_k(\mathbb{R}^n) の画像に投影するための「最近接点演算子」として機能する連続 $O(k)$ 等変写像 $\pi_\alpha$ を定義します。
歪みを最小限に抑えながら、$\alpha$ によって決定される埋め込みの下で $V_k(\mathbb{R}^N)$ に $ を追加します。
この次元削減は $O(k)$ 等変であるため、これらの結果はグラスマン多様体にも拡張されます。
最後に、ノイズのない設定では $\pi_{\alpha_{PCA}}$ が全体的に投影誤差を最小化する一方、データが嘘をつかない場合には $\pi_{\alpha_{GD}}$ が意味のある異なる改善された結果を達成することを示します。
まさに、上記のように線形に埋め込まれた低次元シュティーフェル多様体の画像上にあります。
合成データと現実世界のデータを使用した複数の数値実験が実行されます。
要約(オリジナル)
Many real-world datasets live on high-dimensional Stiefel and Grassmannian manifolds, $V_k(\mathbb{R}^N)$ and $Gr(k, \mathbb{R}^N)$ respectively, and benefit from projection onto lower-dimensional Stiefel and Grassmannian manifolds. In this work, we propose an algorithm called \textit{Principal Stiefel Coordinates (PSC)} to reduce data dimensionality from $ V_k(\mathbb{R}^N)$ to $V_k(\mathbb{R}^n)$ in an \textit{$O(k)$-equivariant} manner ($k \leq n \ll N$). We begin by observing that each element $\alpha \in V_n(\mathbb{R}^N)$ defines an isometric embedding of $V_k(\mathbb{R}^n)$ into $V_k(\mathbb{R}^N)$. Next, we describe two ways of finding a suitable embedding map $\alpha$: one via an extension of principal component analysis ($\alpha_{PCA}$), and one that further minimizes data fit error using gradient descent ($\alpha_{GD}$). Then, we define a continuous and $O(k)$-equivariant map $\pi_\alpha$ that acts as a ‘closest point operator’ to project the data onto the image of $V_k(\mathbb{R}^n)$ in $V_k(\mathbb{R}^N)$ under the embedding determined by $\alpha$, while minimizing distortion. Because this dimensionality reduction is $O(k)$-equivariant, these results extend to Grassmannian manifolds as well. Lastly, we show that $\pi_{\alpha_{PCA}}$ globally minimizes projection error in a noiseless setting, while $\pi_{\alpha_{GD}}$ achieves a meaningfully different and improved outcome when the data does not lie exactly on the image of a linearly embedded lower-dimensional Stiefel manifold as above. Multiple numerical experiments using synthetic and real-world data are performed.
arxiv情報
著者 | Andrew Lee,Harlin Lee,Jose A. Perea,Nikolas Schonsheck,Madeleine Weinstein |
発行日 | 2025-01-08 18:59:39+00:00 |
arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google