Fast Sparse PCA via Positive Semidefinite Projection for Unsupervised Feature Selection

要約

教師なし特徴選択の分野では、スパース主成分分析 (SPCA) 手法が最近ますます注目を集めています。
スペクトルベースの方法と比較して、SPCA 方法は類似度行列の構築に依存せず、実世界のデータに対して優れた特徴選択能力を示します。
オリジナルの SPCA は非凸最適化問題を定式化します。
既存の凸 SPCA 手法は、再構成行列を最適化変数とみなすことにより、SPCA を凸モデルとして再定式化します。
ただし、SPCA の直交性制限に相当する制約が欠如しているため、解空間が大きくなります。
この論文では、凸 SPCA モデルの最適解が正の半定値 (PSD) 円錐に該当することが証明されました。
教師なし特徴選択のための PSD 制約を備えた標準凸 SPCA ベースのモデルが提案されています。
さらに、提案されたモデルを解決するために、PSD 投影による 2 段階の高速最適化アルゴリズムが提示されます。
この論文では、他の 2 つの既存の凸 SPCA ベース モデルも、PSD コーン上でソリューションが最適化されていることが証明されています。
したがって、これら 2 つのモデルの PSD バージョンも、それらの収束を加速するために提案されています。
また、提案手法の正則化パラメータ設定戦略も提供します。
合成データセットと現実世界のデータセットの実験により、提案された方法の有効性と効率性が実証されています。

要約(オリジナル)

In the field of unsupervised feature selection, sparse principal component analysis (SPCA) methods have attracted more and more attention recently. Compared to spectral-based methods, SPCA methods don’t rely on the construction of a similarity matrix and show better feature selection ability on real-world data. The original SPCA formulates a nonconvex optimization problem. Existing convex SPCA methods reformulate SPCA as a convex model by regarding the reconstruction matrix as an optimization variable. However, they are lack of constraints equivalent to the orthogonality restriction in SPCA, leading to larger solution space. In this paper, it’s proved that the optimal solution to a convex SPCA model falls onto the Positive Semidefinite (PSD) cone. A standard convex SPCA-based model with PSD constraint for unsupervised feature selection is proposed. Further, a two-step fast optimization algorithm via PSD projection is presented to solve the proposed model. Two other existing convex SPCA-based models are also proven to have their solutions optimized on the PSD cone in this paper. Therefore, the PSD versions of these two models are proposed to accelerate their convergence as well. We also provide a regularization parameter setting strategy for our proposed method. Experiments on synthetic and real-world datasets demonstrate the effectiveness and efficiency of the proposed methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google