COMAE: COMprehensive Attribute Exploration for Zero-shot Hashing

要約

ゼロショットハッシュ（ZSH）は、大規模な検索シナリオでの効率と一般化により、優れた成功を示しています。
かなりの成功が達成されていますが、緊急の制限はまだ存在します。
既存の作品は、見た目のクラスと非誘導クラスの間に効果的な転送可能性を持つ表現と属性の局所関係を無視します。
また、連続価値の属性は完全に活用されていません。
これに応じて、Comaeという名前のZSHの包括的な属性探査を実施します。これは、3つの細心の注意を払って設計された探索、すなわち、ポイントワイズ、ペアごとの、クラスごとの一貫性の制約を通じて、見られたクラスから目に見えないクラスまでの関係を描いています。
提案された属性プロトタイプネットワークから属性を回帰することにより、Comaeは視覚属性に関連するローカル機能を学習します。
その後、Comaeは、インスタンスに依存しない最適化ではなく、属性のコンテキストを包括的に描写するために対照的な学習を利用します。
最後に、クラスごとの制約は、ハッシュコード、画像表現、視覚属性をより効果的に学習するように設計されています。
人気のあるZSHデータセットでの実験結果は、Comaeが、特に目に見えないラベルクラスが多数あるシナリオで、最先端のハッシュテクニックよりも優れていることを示しています。

要約(オリジナル)

Zero-shot hashing (ZSH) has shown excellent success owing to its efficiency and generalization in large-scale retrieval scenarios. While considerable success has been achieved, there still exist urgent limitations. Existing works ignore the locality relationships of representations and attributes, which have effective transferability between seeable classes and unseeable classes. Also, the continuous-value attributes are not fully harnessed. In response, we conduct a COMprehensive Attribute Exploration for ZSH, named COMAE, which depicts the relationships from seen classes to unseen ones through three meticulously designed explorations, i.e., point-wise, pair-wise and class-wise consistency constraints. By regressing attributes from the proposed attribute prototype network, COMAE learns the local features that are relevant to the visual attributes. Then COMAE utilizes contrastive learning to comprehensively depict the context of attributes, rather than instance-independent optimization. Finally, the class-wise constraint is designed to cohesively learn the hash code, image representation, and visual attributes more effectively. Experimental results on the popular ZSH datasets demonstrate that COMAE outperforms state-of-the-art hashing techniques, especially in scenarios with a larger number of unseen label classes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google