Boosting Zero-shot Learning via Contrastive Optimization of Attribute Representations

要約

ゼロショット学習（ZSL）は、トレーニングセットにサンプルがないクラスを認識することを目的としています。
代表的な解決策の1つは、新しいクラスを認識するために、視覚的特徴を対応するクラスセマンティクスに関連付ける埋め込み関数を直接学習することです。
多くの方法がこのソリューションを拡張しており、最近の方法は、画像から豊富な特徴を抽出することに特に熱心です。
属性機能。
これらの属性の特徴は通常、個々の画像内で抽出されます。
ただし、同じ属性に属しているが画像全体の特徴に共通する特性は強調されていません。
この論文では、画像を超えて属性プロトタイプを明示的に学習し、画像内の属性レベルの機能でそれらを対照的に最適化することにより、ZSLを後押しする新しいフレームワークを提案します。
新しいアーキテクチャに加えて、属性表現のために2つの要素が強調表示されています。新しいプロトタイプ生成モジュールは、属性セマンティクスから属性プロトタイプを生成するように設計されています。
埋め込みスペースの属性レベルの機能を強化するために、ハードな例ベースの対照的な最適化スキームが導入されています。
フレームワークを構築し、CUB、SUN、AwA2の3つの標準ベンチマークで実験を行うために、CNNベースとトランスベースの2つの代替バックボーンを調査します。
これらのベンチマークの結果は、私たちの方法が最先端技術をかなりのマージンで改善することを示しています。
私たちのコードはhttps://github.com/dyabel/CoAR-ZSL.gitで入手できます

要約(オリジナル)

Zero-shot learning (ZSL) aims to recognize classes that do not have samples in the training set. One representative solution is to directly learn an embedding function associating visual features with corresponding class semantics for recognizing new classes. Many methods extend upon this solution, and recent ones are especially keen on extracting rich features from images, e.g. attribute features. These attribute features are normally extracted within each individual image; however, the common traits for features across images yet belonging to the same attribute are not emphasized. In this paper, we propose a new framework to boost ZSL by explicitly learning attribute prototypes beyond images and contrastively optimizing them with attribute-level features within images. Besides the novel architecture, two elements are highlighted for attribute representations: a new prototype generation module is designed to generate attribute prototypes from attribute semantics; a hard example-based contrastive optimization scheme is introduced to reinforce attribute-level features in the embedding space. We explore two alternative backbones, CNN-based and transformer-based, to build our framework and conduct experiments on three standard benchmarks, CUB, SUN, AwA2. Results on these benchmarks demonstrate that our method improves the state of the art by a considerable margin. Our codes will be available at https://github.com/dyabel/CoAR-ZSL.git

arxiv情報

提供元, 利用サービス

arxiv.jp, Google