Yet Another Algorithm for Supervised Principal Component Analysis: Supervised Linear Centroid-Encoder

要約

私たちは、非線形セントロイド エンコーダー (CE) \citep{ghosh2022supervised} の線形版である教師あり線形セントロイド エンコーダー (SLCE) と呼ばれる新しい教師あり次元削減手法を提案します。
SLCE は、線形変換を使用してクラスのサンプルをそのクラス重心にマッピングすることによって機能します。
変換は、対応するクラス重心からの距離、つまり重心再構成損失が周囲空間で最小になるように点を再構成する投影です。
対称行列の固有分解を使用して、閉じた形式の解を導出します。
私たちは詳細な分析を行い、提案されたアプローチのいくつかの重要な数学的特性を提示しました。
また、降下法を使用した最適化問題の解決に基づく反復解法アプローチも提供します。
固有値と重心再構成損失との関係を確立します。
周囲空間でサンプルを再構築する主成分分析 (PCA) とは対照的に、SLCE の変換では、クラスのインスタンスを使用して、対応するクラス重心を再構築します。
したがって、提案された方法は教師あり PCA の一種と考えることができます。
実験結果は、他の教師あり手法に比べて SLCE のパフォーマンス上の利点を示しています。

要約(オリジナル)

We propose a new supervised dimensionality reduction technique called Supervised Linear Centroid-Encoder (SLCE), a linear counterpart of the nonlinear Centroid-Encoder (CE) \citep{ghosh2022supervised}. SLCE works by mapping the samples of a class to its class centroid using a linear transformation. The transformation is a projection that reconstructs a point such that its distance from the corresponding class centroid, i.e., centroid-reconstruction loss, is minimized in the ambient space. We derive a closed-form solution using an eigendecomposition of a symmetric matrix. We did a detailed analysis and presented some crucial mathematical properties of the proposed approach. %We also provide an iterative solution approach based solving the optimization problem using a descent method. We establish a connection between the eigenvalues and the centroid-reconstruction loss. In contrast to Principal Component Analysis (PCA) which reconstructs a sample in the ambient space, the transformation of SLCE uses the instances of a class to rebuild the corresponding class centroid. Therefore the proposed method can be considered a form of supervised PCA. Experimental results show the performance advantage of SLCE over other supervised methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google