Multi-view Feature Extraction based on Triple Contrastive Heads

要約

マルチビュー特徴抽出は、高次元のマルチビュー データにおける次元の問題を軽減するための効率的なアプローチです。
人気のある自己教師あり学習法である対照学習 (CL) は、最近かなりの注目を集めています。
この研究では、トリプルコントラストヘッドに基づく新しいマルチビュー機能抽出方法を提案します。これは、サンプルレベル、回復レベル、および機能レベルのコントラスト損失を組み合わせて、情報のボトルネック原理に従って十分かつ最小限のサブスペース識別情報を抽出します
.
MFETCH では、特徴レベルのコントラスト損失を構築します。これにより、一貫性情報の冗長な情報が削除され、部分空間の識別情報の最小化が達成されます。
さらに、回復レベルのコントラスト損失もMFETCHで構築され、ビュー固有の識別情報をキャプチャして、サブスペース識別情報の十分性を達成します。数値実験は、提案された方法がマルチビュー特徴抽出に強力な利点を提供することを示しています。
.

要約(オリジナル)

Multi-view feature extraction is an efficient approach for alleviating the issue of dimensionality in highdimensional multi-view data. Contrastive learning (CL), which is a popular self-supervised learning method, has recently attracted considerable attention. In this study, we propose a novel multi-view feature extraction method based on triple contrastive heads, which combines the sample-, recovery- , and feature-level contrastive losses to extract the sufficient yet minimal subspace discriminative information in compliance with information bottleneck principle. In MFETCH, we construct the feature-level contrastive loss, which removes the redundent information in the consistency information to achieve the minimality of the subspace discriminative information. Moreover, the recovery-level contrastive loss is also constructed in MFETCH, which captures the view-specific discriminative information to achieve the sufficiency of the subspace discriminative information.The numerical experiments demonstrate that the proposed method offers a strong advantage for multi-view feature extraction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google