Vocabulary-informed Zero-shot and Open-set Learning

要約

近年、物体の分類は大きく進歩したが、多くの重要な課題が残っている。主に、限られたラベル付きデータから学習する能力と、大規模で潜在的にオープンなラベルの集合から物体クラスを認識する能力である。ゼロショット学習はこれらの課題を解決する一つの方法であるが、限られたサイズのクラスボキャブラリーでしか動作しないことが示されており、通常、教師ありクラスと教師なしクラスを分離する必要がある。我々は，これらの課題を解決し，教師あり認識，ゼロショット認識，一般化ゼロショット認識，オープンセット認識の問題を統一的な枠組みで扱うために，語彙情報付き学習という概念を提唱する．具体的には、意味多様体ベース認識のための重み付き最大マージンフレームワークを提案し、（教師あり、教師なし両方の）語彙原子からの距離制約を取り入れる。距離制約により、ラベル付けされたサンプルは、埋め込み空間において、他のサンプルよりも正しいプロトタイプに近い位置に投影されることが保証される。その結果、Animal with AttributesとImageNetデータセットにおいて、教師あり認識、ゼロショット認識、一般化ゼロショット認識、大規模オープンセット認識において、最大310Kクラスの語彙で改善を示すことを説明する。

要約(オリジナル)

Despite significant progress in object categorization, in recent years, a number of important challenges remain; mainly, the ability to learn from limited labeled data and to recognize object classes within large, potentially open, set of labels. Zero-shot learning is one way of addressing these challenges, but it has only been shown to work with limited sized class vocabularies and typically requires separation between supervised and unsupervised classes, allowing former to inform the latter but not vice versa. We propose the notion of vocabulary-informed learning to alleviate the above mentioned challenges and address problems of supervised, zero-shot, generalized zero-shot and open set recognition using a unified framework. Specifically, we propose a weighted maximum margin framework for semantic manifold-based recognition that incorporates distance constraints from (both supervised and unsupervised) vocabulary atoms. Distance constraints ensure that labeled samples are projected closer to their correct prototypes, in the embedding space, than to others. We illustrate that resulting model shows improvements in supervised, zero-shot, generalized zero-shot, and large open set recognition, with up to 310K class vocabulary on Animal with Attributes and ImageNet datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL