Learning Semantic Ambiguities for Zero-Shot Learning

要約

ゼロショット学習 (ZSL) は、トレーニング時に視覚的なサンプルが利用できないクラスを認識することを目的としています。
この問題に対処するために、各クラスのセマンティック記述に頼ることができます。
典型的な ZSL モデルは、テスト時に見えないクラスに対して同じことを行うために、見えるクラスのビジュアル サンプルと対応するセマンティック記述の間のマッピングを学習します。
最先端のアプローチは、クラスのプロトタイプから視覚的特徴を合成する生成モデルに依存しているため、分類子を教師付きの方法で学習できます。
ただし、これらのアプローチは通常、視覚的なインスタンスが特定のクラス プロトタイプに一致する唯一のインスタンスである、見られるクラスに偏っています。
セマンティッククラスプロトタイプのみを活用することにより、条件付き生成ベースのZSLメソッドに適用できる正則化メソッドを提案します。
トレーニング時に利用できないセマンティック記述の識別機能、つまり目に見えない機能を合成することを学習します。
このアプローチは、文献で一般的に使用される 4 つのデータセットで ZSL と GZSL について評価され、誘導的および変換的設定のいずれかで、最先端のアプローチと同等またはそれ以上の結果が得られます。

要約(オリジナル)

Zero-shot learning (ZSL) aims at recognizing classes for which no visual sample is available at training time. To address this issue, one can rely on a semantic description of each class. A typical ZSL model learns a mapping between the visual samples of seen classes and the corresponding semantic descriptions, in order to do the same on unseen classes at test time. State of the art approaches rely on generative models that synthesize visual features from the prototype of a class, such that a classifier can then be learned in a supervised manner. However, these approaches are usually biased towards seen classes whose visual instances are the only one that can be matched to a given class prototype. We propose a regularization method that can be applied to any conditional generative-based ZSL method, by leveraging only the semantic class prototypes. It learns to synthesize discriminative features for possible semantic description that are not available at training time, that is the unseen ones. The approach is evaluated for ZSL and GZSL on four datasets commonly used in the literature, either in inductive and transductive settings, with results on-par or above state of the art approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google