Supervised Quadratic Feature Analysis: An Information Geometry Approach to Dimensionality Reduction

要約

監視された次元削減は、クラスの識別性を最大化しながら、ラベル付きデータを低次元の特徴空間にマッピングすることを目的としています。
複雑な非線形機能を学習するための方法（深い学習など）の可用性にもかかわらず、解釈可能性、低い計算コスト、幅広い適用性のために線形機能を学習する次元削減方法に対する永続的な需要があります。
ただし、線形分離性（LDAなど）を最適化する方法と、任意のクラス境界（例：メトリックラーニング方法）にわたって最適化するより柔軟であるが計算上の高価な方法の間にはギャップがあります。
ここでは、二次識別を可能にするクラス条件付きの1次統計と2次統計の違いを最大化する線形特徴を学習するための次元削減方法である、監視された二次機能分析（SQFA）を提示します。
SQFAは、対称陽性の明確なマニホールドにおける2次統計の情報ジオメトリを悪用します。
SQFAは、現実世界の問題における2次識別性をサポートしていることを示しています。
また、情報ジオメトリに基づいて、SQFAと二次判別分析（QDA）分類器の間の理論的リンクを提供します。

要約(オリジナル)

Supervised dimensionality reduction aims to map labeled data to a low-dimensional feature space while maximizing class discriminability. Despite the availability of methods for learning complex non-linear features (e.g. Deep Learning), there is an enduring demand for dimensionality reduction methods that learn linear features due to their interpretability, low computational cost, and broad applicability. However, there is a gap between methods that optimize linear separability (e.g. LDA), and more flexible but computationally expensive methods that optimize over arbitrary class boundaries (e.g. metric-learning methods). Here, we present Supervised Quadratic Feature Analysis (SQFA), a dimensionality reduction method for learning linear features that maximize the differences between class-conditional first- and second-order statistics, which allow for quadratic discrimination. SQFA exploits the information geometry of second-order statistics in the symmetric positive definite manifold. We show that SQFA features support quadratic discriminability in real-world problems. We also provide a theoretical link, based on information geometry, between SQFA and the Quadratic Discriminant Analysis (QDA) classifier.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google