Adaptive Confidence Multi-View Hashing for Multimedia Retrieval

要約

マルチビュー ハッシュ法は、複数のビューからの異種データをバイナリ ハッシュ コードに変換します。これは、マルチメディア検索における重要な技術の 1 つです。
しかし、現在の方法は主に複数のビュー間の相補性を調査するものであり、信頼学習や融合が欠けています。
さらに、実際のアプリケーションのシナリオでは、単一ビューのデータには冗長なノイズが含まれます。
信頼度学習を実行し、不要なノイズを除去するために、新しい適応型信頼性マルチビューハッシュ (ACMVH) 手法を提案します。
まず、さまざまな単一ビューの特徴から有用な情報を抽出し、ノイズ情報を除去するための信頼ネットワークが開発されます。
さらに、適応型信頼度マルチビュー ネットワークを使用して各ビューの信頼度を測定し、重み付けされた合計を通じてマルチビューの特徴を融合します。
最後に、拡張ネットワークは、融合されたフィーチャのフィーチャ表現をさらに強化するように設計されています。
私たちの知る限り、私たちはマルチメディア検索の分野への信頼学習の応用の先駆者です。
2 つの公開データセットに対する広範な実験により、提案された ACMVH が最先端の方法よりも優れたパフォーマンスを発揮することが示されました (最大 3.24% の増加)。
ソース コードは https://github.com/HackerHyper/ACMVH で入手できます。

要約(オリジナル)

The multi-view hash method converts heterogeneous data from multiple views into binary hash codes, which is one of the critical technologies in multimedia retrieval. However, the current methods mainly explore the complementarity among multiple views while lacking confidence learning and fusion. Moreover, in practical application scenarios, the single-view data contain redundant noise. To conduct the confidence learning and eliminate unnecessary noise, we propose a novel Adaptive Confidence Multi-View Hashing (ACMVH) method. First, a confidence network is developed to extract useful information from various single-view features and remove noise information. Furthermore, an adaptive confidence multi-view network is employed to measure the confidence of each view and then fuse multi-view features through a weighted summation. Lastly, a dilation network is designed to further enhance the feature representation of the fused features. To the best of our knowledge, we pioneer the application of confidence learning into the field of multimedia retrieval. Extensive experiments on two public datasets show that the proposed ACMVH performs better than state-of-the-art methods (maximum increase of 3.24%). The source code is available at https://github.com/HackerHyper/ACMVH.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google