PHPQ: Pyramid Hybrid Pooling Quantization for Efficient Fine-Grained Image Retrieval

要約

ディープ量子化やディープ バイナリ ハッシュを含むディープ ハッシュ アプローチは、その高い計算効率とストレージ効率により、大規模な画像検索に対する一般的なソリューションとなっています。
既存のハッシュ手法のほとんどは、通常、バイナリ コードを生成するために最後の CNN 層の出力を採用するため、きめ細かい検索に対して満足のいく結果を生成できません。
より深い層は、テクスチャなどの視覚的な手がかりを、犬や猫などの抽象的な意味論に要約する傾向があるため、最後の CNN 層によって生成される特徴は、主に浅い層に存在する微妙だが識別可能な視覚的な詳細を捕捉するのにはあまり効果的ではありません。
きめの細かい画像ハッシュを改善するために、Pyramid Hybrid Pooling Quantization (PHPQ) を提案します。
具体的には、さまざまなサブカテゴリの微妙な区別を強調する、マルチレベルの特徴からきめの細かい意味情報を取得して保存する Pyramid Hybrid Pooling (PHP) モジュールを提案します。
さらに、部分的なコードブック アテンション メカニズムを備えた学習可能な量子化モジュールを提案します。これは、最も関連性の高いコードワードを最適化し、量子化を改善するのに役立ちます。
広く使用されている 2 つの公開ベンチマーク、つまり CUB-200-2011 と Stanford Dogs での包括的な実験により、PHPQ が最先端の手法より優れていることが実証されました。

要約(オリジナル)

Deep hashing approaches, including deep quantization and deep binary hashing, have become a common solution to large-scale image retrieval due to their high computation and storage efficiency. Most existing hashing methods cannot produce satisfactory results for fine-grained retrieval, because they usually adopt the outputs of the last CNN layer to generate binary codes. Since deeper layers tend to summarize visual clues, e.g., texture, into abstract semantics, e.g., dogs and cats, the feature produced by the last CNN layer is less effective in capturing subtle but discriminative visual details that mostly exist in shallow layers. To improve fine-grained image hashing, we propose Pyramid Hybrid Pooling Quantization (PHPQ). Specifically, we propose a Pyramid Hybrid Pooling (PHP) module to capture and preserve fine-grained semantic information from multi-level features, which emphasizes the subtle discrimination of different sub-categories. Besides, we propose a learnable quantization module with a partial codebook attention mechanism, which helps to optimize the most relevant codewords and improves the quantization. Comprehensive experiments on two widely-used public benchmarks, i.e., CUB-200-2011 and Stanford Dogs, demonstrate that PHPQ outperforms state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google