Synergistic eigenanalysis of covariance and Hessian matrices for enhanced binary classification

要約

共分散行列とヘッセ行列は、分類問題に関する文献で別々に分析されています。
ただし、これらの行列を統合すると、分類パフォーマンスを向上させる際の総合力が強化される可能性があります。
トレーニング セットで評価された共分散行列の固有分析と深層学習モデルで評価されたヘッセ行列を組み合わせて、バイナリ分類タスクで最適なクラス分離性を実現する新しいアプローチを紹介します。
私たちのアプローチは、クラス間の平均距離を最大化し、クラス内分散を最小化する機能を確立する正式な証明によって実証されています。
両方の行列から最も関連性の高い固有方向を組み合わせた空間にデータを射影することで、線形判別分析 (LDA) 基準に従って最適なクラス分離可能性を実現します。
神経データセットと健康データセットにわたる経験的検証は、私たちの理論的枠組みを一貫してサポートし、私たちの方法が確立された方法よりも優れていることを実証しています。
それぞれ 1 つの基準を主に強調する PCA やヘシアン法とは異なり、私たちの方法は両方の LDA 基準に対処することで際立っています。
この包括的なアプローチにより、複雑なパターンと関係が捕捉され、分類パフォーマンスが向上します。
さらに、両方の LDA 基準を利用することで、高次元での線形分離性を高めるカバーの定理に従って、私たちの方法は高次元の特徴空間を活用することで LDA 自体よりも優れた性能を発揮します。
私たちの方法は、パフォーマンスにおいてもカーネルベースの方法や多様な学習技術を上回っています。
さらに、私たちのアプローチは複雑な DNN の意思決定に光を当て、それらを 2D 空間内で理解できるようにします。

要約(オリジナル)

Covariance and Hessian matrices have been analyzed separately in the literature for classification problems. However, integrating these matrices has the potential to enhance their combined power in improving classification performance. We present a novel approach that combines the eigenanalysis of a covariance matrix evaluated on a training set with a Hessian matrix evaluated on a deep learning model to achieve optimal class separability in binary classification tasks. Our approach is substantiated by formal proofs that establish its capability to maximize between-class mean distance and minimize within-class variances. By projecting data into the combined space of the most relevant eigendirections from both matrices, we achieve optimal class separability as per the linear discriminant analysis (LDA) criteria. Empirical validation across neural and health datasets consistently supports our theoretical framework and demonstrates that our method outperforms established methods. Our method stands out by addressing both LDA criteria, unlike PCA and the Hessian method, which predominantly emphasize one criterion each. This comprehensive approach captures intricate patterns and relationships, enhancing classification performance. Furthermore, through the utilization of both LDA criteria, our method outperforms LDA itself by leveraging higher-dimensional feature spaces, in accordance with Cover’s theorem, which favors linear separability in higher dimensions. Our method also surpasses kernel-based methods and manifold learning techniques in performance. Additionally, our approach sheds light on complex DNN decision-making, rendering them comprehensible within a 2D space.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google