Deep Metric Multi-View Hashing for Multimedia Retrieval

要約

タイトル：マルチメディアの検索のためのDeep Metric Multi-View Hashing
要約：
– マルチビュー異種データのハッシュ表現を学習することは、マルチメディアの検索において重要なタスクである。
– しかし、既存の手法では、マルチビューの特徴を効果的に融合し、似ていないサンプルによって提供されるメトリック情報を利用することができず、検索精度に限界がある。
– 現在の手法では、重み付き和や連結を用いて、マルチビューの特徴を融合するが、これらの手法は、異なるビュー間の相互作用を捉えることができず、異なるサンプルが提供する情報を無視している。
– ノベルなDeep Metric Multi-View Hashing（DMMVH）手法を提案し、これらの問題に対処する。
– ゲートベースの融合が従来の手法よりも優れていることを示すための広範な実験的証拠を提供する。そして、マルチビューのハッシュ法の問題に深層メトリック学習を導入することができるため、異なるサンプルのメトリック情報を利用することができる。
– MIR-Flickr25K、MS COCO、NUS-WIDEデータセットにおいて、これまでの最高性能手法を大幅に上回る結果を示した（最大で15.28平均平均適合率（mAP）の向上）。

要約(オリジナル)

Learning the hash representation of multi-view heterogeneous data is an important task in multimedia retrieval. However, existing methods fail to effectively fuse the multi-view features and utilize the metric information provided by the dissimilar samples, leading to limited retrieval precision. Current methods utilize weighted sum or concatenation to fuse the multi-view features. We argue that these fusion methods cannot capture the interaction among different views. Furthermore, these methods ignored the information provided by the dissimilar samples. We propose a novel deep metric multi-view hashing (DMMVH) method to address the mentioned problems. Extensive empirical evidence is presented to show that gate-based fusion is better than typical methods. We introduce deep metric learning to the multi-view hashing problems, which can utilize metric information of dissimilar samples. On the MIR-Flickr25K, MS COCO, and NUS-WIDE, our method outperforms the current state-of-the-art methods by a large margin (up to 15.28 mean Average Precision (mAP) improvement).

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI