Canonical Variates in Wasserstein Metric Space

要約

この論文では、特異点ではなくベクトル空間上の分布によって特徴付けられるインスタンスの分類に取り組みます。
Wasserstein メトリクスを使用して分布間の距離を測定します。この距離は、k 最近傍法、k 平均法、擬似混合モデリングなどの距離ベースの分類アルゴリズムで使用されます。
私たちの調査の中心となるのは、分類精度を高めるための Wasserstein 計量空間内の次元削減です。
クラス内変動に対するクラス間変動の商として定義されるフィッシャー比を最大化する原理に基づいた新しいアプローチを紹介します。
この比率が最大化される方向は、判別座標または正準変量軸と呼ばれます。
実際には、クラス間変動とクラス内変動の両方を、同じクラスまたは異なるクラスに属するインスタンスのペア間の平均二乗距離として定義します。
この比率の最適化は、ベクトル空間内で最適な転送ステップと最大化ステップを交互に繰り返す反復アルゴリズムによって実現されます。
私たちはアルゴリズムの収束性を評価するための実証研究を実施し、実験的検証を通じて、次元削減技術が分類パフォーマンスを大幅に向上させることを実証しました。
さらに、私たちの方法は、分布データから得られたベクトル表現を操作する確立されたアルゴリズムよりも優れています。
また、データ クラウドの分布表現の変動に対する堅牢性も示します。

要約(オリジナル)

In this paper, we address the classification of instances each characterized not by a singular point, but by a distribution on a vector space. We employ the Wasserstein metric to measure distances between distributions, which are then used by distance-based classification algorithms such as k-nearest neighbors, k-means, and pseudo-mixture modeling. Central to our investigation is dimension reduction within the Wasserstein metric space to enhance classification accuracy. We introduce a novel approach grounded in the principle of maximizing Fisher’s ratio, defined as the quotient of between-class variation to within-class variation. The directions in which this ratio is maximized are termed discriminant coordinates or canonical variates axes. In practice, we define both between-class and within-class variations as the average squared distances between pairs of instances, with the pairs either belonging to the same class or to different classes. This ratio optimization is achieved through an iterative algorithm, which alternates between optimal transport and maximization steps within the vector space. We conduct empirical studies to assess the algorithm’s convergence and, through experimental validation, demonstrate that our dimension reduction technique substantially enhances classification performance. Moreover, our method outperforms well-established algorithms that operate on vector representations derived from distributional data. It also exhibits robustness against variations in the distributional representations of data clouds.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google