Supervised Quadratic Feature Analysis: Information Geometry Approach for Dimensionality Reduction

要約

監視された次元削減は、クラスの識別性を最大化しながら、ラベル付きデータを低次元の特徴空間にマッピングすることを目的としています。
識別性を直接計算することはしばしば非現実的であるため、別のアプローチは、クラス間の距離または非類似性の測定値を最大化する機能を学習することです。
フィッシャーラオ距離は、統計マニホールドの重要な情報ジオメトリ距離です。
これは、神経表現を理解するために広く使用されているツールであるFisher Information Metricによって誘導されます。
その理論的およびプラチックな魅力にもかかわらず、クラス間のフィッシャーラオ距離は、監視された機能学習の最大化目標として使用されていません。
ここでは、対称陽性明確マニホールドの情報ジオメトリを利用することにより、クラス分布間のフィッシャーラオ距離を最大化する線形寸法削減方法である、監視された二次特徴分析（SQFA）を提示します。
SQFAは、1次および2次統計を使用して距離を最大化し、その機能により、実世界のデータセットで最先端の方法を一致または上回る2次識別可能性（QDAパフォーマンス）が可能になります。
フィッシャーラオ距離を2次識別性の代理として理論的に動機付け、そのパフォーマンスを他の一般的な距離（Wasserstein距離など）と比較します。
SQFAは、次元削減のための柔軟な最先端の方法を提供します。
クラス間のフィッシャーラオ距離の使用が成功したことは、将来の研究の方向性を動機付けます。

要約(オリジナル)

Supervised dimensionality reduction aims to map labeled data to a low-dimensional feature space while maximizing class discriminability. Directly computing discriminability is often impractical, so an alternative approach is to learn features that maximize a distance or dissimilarity measure between classes. The Fisher-Rao distance is an important information geometry distance in statistical manifolds. It is induced by the Fisher information metric, a tool widely used for understanding neural representations. Despite its theoretical and pratical appeal, Fisher-Rao distances between classes have not been used as a maximization objective in supervised feature learning. Here, we present Supervised Quadratic Feature Analysis (SQFA), a linear dimensionality reduction method that maximizes Fisher-Rao distances between class distributions, by exploiting the information geometry of the symmetric positive definite manifold. SQFA maximizes distances using first- and second-order statistics, and its features allow for quadratic discriminability (i.e. QDA performance) matching or surpassing state-of-the-art methods on real-world datasets. We theoretically motivate Fisher-Rao distances as a proxy for quadratic discriminability, and compare its performance to other popular distances (e.g. Wasserstein distances). SQFA provides a flexible state-of-the-art method for dimensionality reduction. Its successful use of Fisher-Rao distances between classes motivates future research directions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google