$σ$-PCA: a unified neural model for linear and nonlinear principal component analysis

要約

線形主成分分析 (PCA)、非線形 PCA、線形独立成分分析 (ICA) — これらは、データから線形変換を学習するための単層オートエンコーダー定式化を使用した 3 つの方法です。
線形 PCA は、分散を最大化するように軸の方向を定める直交変換 (回転) を学習しますが、部分空間の回転不確定性の問題があります。つまり、同じ分散を共有する軸の一意の回転を見つけることができません。
非線形 PCA と線形 ICA は両方とも、単位分散の仮定の下で統計的独立性を最大化することにより、部分空間の不確定性を回転から順列に低減します。
それらの主な違いは、非線形 PCA は回転のみを学習するのに対し、線形 ICA は回転だけでなく単位分散のある線形変換も学習することです。
3 つすべての関係は、線形 ICA 変換を回転、スケール、回転のシーケンスに特異値分解することで理解できます。
Linear PCA は最初の回転を学習します。
非線形 PCA は 2 番目の学習を行います。
スケールは単に標準偏差の逆数です。
問題は、線形 PCA とは対照的に、従来の非線形 PCA は最初の回転を学習するためにデータに直接使用できないことです。最初の回転は分散による次元と次数を削減するため特殊です。
この論文では、原因を特定し、解決策として $\sigma$-PCA を提案します。これは、単層オートエンコーダとしての線形および非線形 PCA の統合ニューラル モデルです。
その重要な要素の 1 つは、回転だけでなくスケール、つまり分散もモデリングすることです。
このモデルは、線形 PCA と非線形 PCA の間の差異を橋渡しします。
したがって、線形 PCA と同様に、分散による次元と次数を削減する半直交変換を学習できますが、線形 PCA とは異なり、回転不確定性の影響を受けません。

要約(オリジナル)

Linear principal component analysis (PCA), nonlinear PCA, and linear independent component analysis (ICA) — those are three methods with single-layer autoencoder formulations for learning linear transformations from data. Linear PCA learns orthogonal transformations (rotations) that orient axes to maximise variance, but it suffers from a subspace rotational indeterminacy: it fails to find a unique rotation for axes that share the same variance. Both nonlinear PCA and linear ICA reduce the subspace indeterminacy from rotational to permutational by maximising statistical independence under the assumption of unit variance. The main difference between them is that nonlinear PCA only learns rotations while linear ICA learns not just rotations but any linear transformation with unit variance. The relationship between all three can be understood by the singular value decomposition of the linear ICA transformation into a sequence of rotation, scale, rotation. Linear PCA learns the first rotation; nonlinear PCA learns the second. The scale is simply the inverse of the standard deviations. The problem is that, in contrast to linear PCA, conventional nonlinear PCA cannot be used directly on the data to learn the first rotation, the first being special as it reduces dimensionality and orders by variances. In this paper, we have identified the cause, and as a solution we propose $\sigma$-PCA: a unified neural model for linear and nonlinear PCA as single-layer autoencoders. One of its key ingredients: modelling not just the rotation but also the scale — the variances. This model bridges the disparity between linear and nonlinear PCA. And so, like linear PCA, it can learn a semi-orthogonal transformation that reduces dimensionality and orders by variances, but, unlike linear PCA, it does not suffer from rotational indeterminacy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google