Exploiting Semantic Attributes for Transductive Zero-Shot Learning

要約

ゼロショット学習 (ZSL) は、目に見えるクラスから学習した視覚的特徴と意味属性との関係を一般化することにより、目に見えないクラスを認識することを目的としています。
伝達的ゼロショット学習と呼ばれる最近のパラダイムは、トレーニング中にラベルのない目に見えないデータをさらに活用し、印象的な結果を得ています。
これらのメソッドは常に、敵対的生成ネットワークを介して属性から目に見えない特徴を合成し、見られるクラスへの偏りを軽減します。
ただし、ラベル付けされていない目に見えないデータの意味情報を無視しているため、忠実度の高い属性一貫性のある目に見えない機能を生成できません。
この問題に対処するために、目に見えないデータのセマンティック属性を生成し、それらを生成プロセスに課す、新しい伝達的 ZSL メソッドを提示します。
特に、視覚的特徴からセマンティック属性へのマッピングを学習する属性デコーダーを最初にトレーニングします。
次に、属性デコーダーから、ラベル付けされていないデータの疑似属性を取得し、それらを生成モデルに統合します。これにより、目に見えないクラス内の詳細な違いをキャプチャして、より識別可能な機能を合成することができます。
5 つの標準的なベンチマークでの実験は、私たちの方法がゼロショット学習の最先端の結果をもたらすことを示しています。

要約(オリジナル)

Zero-shot learning (ZSL) aims to recognize unseen classes by generalizing the relation between visual features and semantic attributes learned from the seen classes. A recent paradigm called transductive zero-shot learning further leverages unlabeled unseen data during training and has obtained impressive results. These methods always synthesize unseen features from attributes through a generative adversarial network to mitigate the bias towards seen classes. However, they neglect the semantic information in the unlabeled unseen data and thus fail to generate high-fidelity attribute-consistent unseen features. To address this issue, we present a novel transductive ZSL method that produces semantic attributes of the unseen data and imposes them on the generative process. In particular, we first train an attribute decoder that learns the mapping from visual features to semantic attributes. Then, from the attribute decoder, we obtain pseudo-attributes of unlabeled data and integrate them into the generative model, which helps capture the detailed differences within unseen classes so as to synthesize more discriminative features. Experiments on five standard benchmarks show that our method yields state-of-the-art results for zero-shot learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google