COMAE: COMprehensive Attribute Exploration for Zero-shot Hashing

要約

ゼロショット ハッシュ (ZSH) は、大規模な取得シナリオにおける効率性と汎用性により、優れた成功を収めています。
かなりの成功が収められていますが、依然として差し迫った限界が存在しています。
既存の作品は、可視クラスと不可視クラスの間で効果的な転送可能性を有する表現と属性の局所性関係を無視しています。
また、連続値属性は完全に活用されていません。
これに応じて、COMAE という名前の ZSH の包括的属性探索を実行します。これは、3 つの綿密に設計された探索、つまりポイント単位、ペア単位、およびクラス単位の一貫性制約を通じて、目に見えるクラスから見えないクラスへの関係を描写します。
提案された属性プロトタイプ ネットワークから属性を回帰することにより、COMAE は視覚的属性に関連する局所的な特徴を学習します。
次に COMAE は、インスタンスに依存しない最適化ではなく、対照学習を利用して属性のコンテキストを包括的に描写します。
最後に、クラスごとの制約は、ハッシュ コード、画像表現、視覚的属性をより効果的に学習できるように設計されています。
一般的な ZSH データセットでの実験結果は、COMAE が、特に多数の未確認のラベル クラスがあるシナリオで、最先端のハッシュ技術よりも優れたパフォーマンスを発揮することを示しています。

要約(オリジナル)

Zero-shot hashing (ZSH) has shown excellent success owing to its efficiency and generalization in large-scale retrieval scenarios. While considerable success has been achieved, there still exist urgent limitations. Existing works ignore the locality relationships of representations and attributes, which have effective transferability between seeable classes and unseeable classes. Also, the continuous-value attributes are not fully harnessed. In response, we conduct a COMprehensive Attribute Exploration for ZSH, named COMAE, which depicts the relationships from seen classes to unseen ones through three meticulously designed explorations, i.e., point-wise, pair-wise and class-wise consistency constraints. By regressing attributes from the proposed attribute prototype network, COMAE learns the local features that are relevant to the visual attributes. Then COMAE utilizes contrastive learning to comprehensively depict the context of attributes, rather than instance-independent optimization. Finally, the class-wise constraint is designed to cohesively learn the hash code, image representation, and visual attributes more effectively. Experimental results on the popular ZSH datasets demonstrate that COMAE outperforms state-of-the-art hashing techniques, especially in scenarios with a larger number of unseen label classes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google