Multi-view Feature Extraction based on Dual Contrastive Head

要約

マルチビュー特徴抽出は、高次元のマルチビュー データにおける次元の問題を軽減するための効率的なアプローチです。
人気のある自己教師あり学習法である対照学習 (CL) は、最近かなりの注目を集めています。
ほとんどの CL ベースのメソッドは、サンプル レベルのみから構築されました。
この研究では、サンプルレベルのCLベースの方法に構造レベルのコントラスト損失を導入する、デュアルコントラストヘッドに基づく新しいマルチビュー特徴抽出方法を提案します。
構造レベルのCLは、任意の2つのクロスビューで一貫性のある潜在的なサブスペース構造をプッシュします。これにより、サンプルレベルのCLが識別機能をより効果的に抽出できます。
さらに、構造レベルの CL と相互情報量と確率論的内部および相互散乱の間の関係が証明されており、優れた性能の理論的サポートを提供します。
最後に、6 つの実際のデータセットに対する数値実験は、既存の方法と比較して提案された方法の優れたパフォーマンスを示しています。

要約(オリジナル)

Multi-view feature extraction is an efficient approach for alleviating the issue of dimensionality in highdimensional multi-view data. Contrastive learning (CL), which is a popular self-supervised learning method, has recently attracted considerable attention. Most CL-based methods were constructed only from the sample level. In this study, we propose a novel multiview feature extraction method based on dual contrastive head, which introduce structural-level contrastive loss into sample-level CL-based method. Structural-level CL push the potential subspace structures consistent in any two cross views, which assists sample-level CL to extract discriminative features more effectively. Furthermore, it is proven that the relationships between structural-level CL and mutual information and probabilistic intraand inter-scatter, which provides the theoretical support for the excellent performance. Finally, numerical experiments on six real datasets demonstrate the superior performance of the proposed method compared to existing methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google