$σ$-PCA: a building block for neural learning of identifiable linear transformations

要約

線形主成分分析 (PCA) は、分散を最大化するように軸の向きを変えることによって (半) 直交変換を学習します。
したがって、分散が明確に異なる直交軸のみを識別できますが、分散がほぼ等しい軸のサブセットを識別することはできません。
部分空間の回転不確定性を排除することはできません。等しい分散 (固有値) を持つ成分を解きほぐすことができず、その結果、各固有部分空間で軸がランダムに回転することになります。
この論文では、(1) 線形および非線形 PCA の統一モデルを定式化し、後者は線形独立成分分析 (ICA) の特殊なケースである、(2) を導入する方法である $\sigma$-PCA を提案します。
非線形 PCA に欠落部分を追加することで、入力を白色化することなく、標準線形 PCA ソリューションから部分空間の回転不確定性を除去できるようになります。
入力を単位分散入力に変換する前処理ステップであるホワイトニングは、一般に線形 ICA 法の前提条件ステップでした。これは、従来の非線形 PCA が変換全体の直交性を必ずしも維持できず、次元を直接削減できなかったことを意味します。
分散によって本質的に順序付けすることはできません。
線形 PCA、非線形 PCA、線形 ICA の関係についての洞察を提供します。データから特殊な線形変換、PCA の (半) 直交変換、ICA の任意の単位分散を学習するためのオートエンコーダー定式化を備えた 3 つの方法です。
私たちの定式化の一環として、非線形 PCA は分散と統計的独立性の両方を最大化する方法とみなすことができ、線形 PCA と線形 ICA の中間に位置し、識別可能な線形変換を学習するための構成要素として機能します。

要約(オリジナル)

Linear principal component analysis (PCA) learns (semi-)orthogonal transformations by orienting the axes to maximize variance. Consequently, it can only identify orthogonal axes whose variances are clearly distinct, but it cannot identify the subsets of axes whose variances are roughly equal. It cannot eliminate the subspace rotational indeterminacy: it fails to disentangle components with equal variances (eigenvalues), resulting, in each eigen subspace, in randomly rotated axes. In this paper, we propose $\sigma$-PCA, a method that (1) formulates a unified model for linear and nonlinear PCA, the latter being a special case of linear independent component analysis (ICA), and (2) introduces a missing piece into nonlinear PCA that allows it to eliminate, from the canonical linear PCA solution, the subspace rotational indeterminacy — without whitening the inputs. Whitening, a preprocessing step which converts the inputs into unit-variance inputs, has generally been a prerequisite step for linear ICA methods, which meant that conventional nonlinear PCA could not necessarily preserve the orthogonality of the overall transformation, could not directly reduce dimensionality, and could not intrinsically order by variances. We offer insights on the relationship between linear PCA, nonlinear PCA, and linear ICA — three methods with autoencoder formulations for learning special linear transformations from data, transformations that are (semi-)orthogonal for PCA, and arbitrary unit-variance for ICA. As part of our formulation, nonlinear PCA can be seen as a method that maximizes both variance and statistical independence, lying in the middle between linear PCA and linear ICA, serving as a building block for learning linear transformations that are identifiable.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google