CoopHash: Cooperative Learning of Multipurpose Descriptor and Contrastive Pair Generator via Variational MCMC Teaching for Supervised Image Hashing

要約

教師付き情報を活用すると、画像ハッシュ領域で優れた検索パフォーマンスが得られますが、十分なラベル付きデータがないとパフォーマンスは大幅に低下します。
パフォーマンスを向上させる効果的な解決策の 1 つは、敵対的生成ネットワーク (GAN) などの生成モデルを使用して、イメージ ハッシュ モデルで合成データを生成することです。
ただし、GAN ベースの手法はトレーニングが難しいため、ハッシュ アプローチで生成モデルとハッシュ関数を共同でトレーニングすることができません。
この制限により、検索パフォーマンスが最適化されません。
この制限を克服するために、エネルギーベースの協調学習に基づく新しいフレームワークである生成協調ハッシュ ネットワークを提案します。
このフレームワークは、2 つのコンポーネントを介して、データの強力な生成表現と堅牢なハッシュ関数を共同で学習します。コントラストのある画像を合成するトップダウンのコントラスト ペア ジェネレーターと、確率密度を含む複数の視点から画像を同時に表現するボトムアップの多目的記述子です。
、ハッシュコード、潜在コード、カテゴリ。
2 つのコンポーネントは、新しい尤度ベースの協調学習スキームを介して共同学習されます。
私たちはいくつかの実世界のデータセットで実験を行い、提案された方法が競合する教師ありハッシュ手法よりも優れたパフォーマンスを示し、現在の最先端の教師ありハッシュ手法と比較して最大 10\% の相対的な改善を達成し、大幅に優れたパフォーマンスを示すことを示しました。
配布外の検索で。

要約(オリジナル)

Leveraging supervised information can lead to superior retrieval performance in the image hashing domain but the performance degrades significantly without enough labeled data. One effective solution to boost performance is to employ generative models, such as Generative Adversarial Networks (GANs), to generate synthetic data in an image hashing model. However, GAN-based methods are difficult to train, which prevents the hashing approaches from jointly training the generative models and the hash functions. This limitation results in sub-optimal retrieval performance. To overcome this limitation, we propose a novel framework, the generative cooperative hashing network, which is based on energy-based cooperative learning. This framework jointly learns a powerful generative representation of the data and a robust hash function via two components: a top-down contrastive pair generator that synthesizes contrastive images and a bottom-up multipurpose descriptor that simultaneously represents the images from multiple perspectives, including probability density, hash code, latent code, and category. The two components are jointly learned via a novel likelihood-based cooperative learning scheme. We conduct experiments on several real-world datasets and show that the proposed method outperforms the competing hashing supervised methods, achieving up to 10\% relative improvement over the current state-of-the-art supervised hashing methods, and exhibits a significantly better performance in out-of-distribution retrieval.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google