Masked Two-channel Decoupling Framework for Incomplete Multi-view Weak Multi-label Learning

要約

マルチビュー学習は近年人気の研究テーマとなっていますが、古典的なマルチラベル分類とマルチビュー学習の相互応用に関する研究はまだ初期段階にあります。
この論文では、不完全なマルチビュー弱いマルチラベル学習という複雑だが非常に現実的なタスクに焦点を当て、この問題を解決するためにディープ ニューラル ネットワークに基づくマスクされた 2 チャネル デカップリング フレームワークを提案します。
私たちの手法の中心的な革新は、深層マルチビュー学習手法では一般的な単一チャネルのビューレベル表現を、共有表現とビュー独自の表現に分離することにあります。
また、2 つのチャネルの意味特性を強化するために、クロスチャネルのコントラスト損失も設計します。
さらに、教師あり情報を利用してラベルガイド付きグラフ正則化損失を設計し、抽出された埋め込み特徴がサンプル間の幾何学的構造を保存するのに役立ちます。
画像およびテキスト分析におけるマスキング メカニズムの成功に触発されて、エンコーダーの学習能力を向上させるために、ベクトル特徴のランダム フラグメント マスキング戦略を開発しました。
最後に、私たちのモデルは任意のビューやラベルの不在にも完全に適応できると同時に、理想的な完全なデータでも良好に動作することを強調することが重要です。
私たちは、モデルの有効性と進歩を確認するために、十分で説得力のある実験を実施しました。

要約(オリジナル)

Multi-view learning has become a popular research topic in recent years, but research on the cross-application of classic multi-label classification and multi-view learning is still in its early stages. In this paper, we focus on the complex yet highly realistic task of incomplete multi-view weak multi-label learning and propose a masked two-channel decoupling framework based on deep neural networks to solve this problem. The core innovation of our method lies in decoupling the single-channel view-level representation, which is common in deep multi-view learning methods, into a shared representation and a view-proprietary representation. We also design a cross-channel contrastive loss to enhance the semantic property of the two channels. Additionally, we exploit supervised information to design a label-guided graph regularization loss, helping the extracted embedding features preserve the geometric structure among samples. Inspired by the success of masking mechanisms in image and text analysis, we develop a random fragment masking strategy for vector features to improve the learning ability of encoders. Finally, it is important to emphasize that our model is fully adaptable to arbitrary view and label absences while also performing well on the ideal full data. We have conducted sufficient and convincing experiments to confirm the effectiveness and advancement of our model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google