Deep Manifold Hashing: A Divide-and-Conquer Approach for Semi-Paired Unsupervised Cross-Modal Retrieval

要約

データをバイナリ コードに射影するハッシングは、ストレージ使用量が少なく、クエリ速度が速いため、クロスモーダル検索で並外れた才能を示しています。
一部のシナリオでの経験的な成功にもかかわらず、既存のクロスモーダル ハッシュ手法は、多くのラベル付き情報を含む完全にペアになったデータが存在しない場合、通常、モダリティ ギャップを越えることができません。
分割統治戦略に動機付けられたこの欠点を回避するために、ディープ マニホールド ハッシング (DMH) を提案します。これは、半対教師なしクロスモーダル検索の問題を 3 つのサブ問題に分割し、単純でありながら 1 つを構築する新しい方法です。
各サブ問題の効率モデル。
具体的には、1 つ目のモデルはマニホールド学習に基づいてセミペア データを補完することでモダリティ不変の特徴を取得するために構築され、2 つ目のモデルと 3 つ目のモデルはそれぞれハッシュ コードとハッシュ関数の学習を目的としています。
3 つのベンチマークでの広範な実験により、最新の完全ペアおよび半ペア教師なしクロスモーダル ハッシュ法と比較して、DMH の優位性が実証されました。

要約(オリジナル)

Hashing that projects data into binary codes has shown extraordinary talents in cross-modal retrieval due to its low storage usage and high query speed. Despite their empirical success on some scenarios, existing cross-modal hashing methods usually fail to cross modality gap when fully-paired data with plenty of labeled information is nonexistent. To circumvent this drawback, motivated by the Divide-and-Conquer strategy, we propose Deep Manifold Hashing (DMH), a novel method of dividing the problem of semi-paired unsupervised cross-modal retrieval into three sub-problems and building one simple yet efficiency model for each sub-problem. Specifically, the first model is constructed for obtaining modality-invariant features by complementing semi-paired data based on manifold learning, whereas the second model and the third model aim to learn hash codes and hash functions respectively. Extensive experiments on three benchmarks demonstrate the superiority of our DMH compared with the state-of-the-art fully-paired and semi-paired unsupervised cross-modal hashing methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google