Make an Omelette with Breaking Eggs: Zero-Shot Learning for Novel Attribute Synthesis

要約

ゼロショット分類問題の既存のアルゴリズムのほとんどは、通常、カテゴリ間の属性ベースの意味関係に依存して、インスタンスを観察せずに新しいカテゴリの分類を実現します。
ただし、ゼロ ショット分類モデルのトレーニングには、トレーニング データセット内の各クラス (またはインスタンス) の属性ラベル付けが依然として必要であり、これもコストがかかります。
この目的のために、この論文では、新しい問題のシナリオを提起します。
基本的に、いくつかの手動で注釈が付けられた属性 (つまり、見られる属性) を認識するように学習された検出器の小さなセットのみが与えられた場合、ゼロショット学習方法で新しい属性の検出器を合成することを目指します。
私たちの提案する方法である属性のゼロショット学習 (ZSLA) は、私たちの知る限りこの種のものとしては初めてのものであり、集合演算を適用して最初に見た属性を基本的な属性に分解し、次に、この新しい研究問題に取り組みます。
これらの基本的な属性を新しいものに再結合します。
新しい属性のセマンティクスを正確にキャプチャするための合成検出器の能力を検証し、他のベースラインアプローチと比較して検出とローカリゼーションの点で優れたパフォーマンスを示すために、広範な実験が行われます。
さらに、Caltech-UCSD Birds-200-2011 データセットで合成検出器を使用した自動注釈の適用を示します。
ZSLA によって再アノテーション付けされたデータセットでトレーニングされたさまざまな一般化されたゼロ ショット分類アルゴリズムは、手動のグラウンド トゥルース アノテーションでトレーニングされたものと同等のパフォーマンスを示します。
ソース コードについては、プロジェクト ページを参照してください: https://yuhsuanli.github.io/ZSLA/

要約(オリジナル)

Most of the existing algorithms for zero-shot classification problems typically rely on the attribute-based semantic relations among categories to realize the classification of novel categories without observing any of their instances. However, training the zero-shot classification models still requires attribute labeling for each class (or even instance) in the training dataset, which is also expensive. To this end, in this paper, we bring up a new problem scenario: ‘Can we derive zero-shot learning for novel attribute detectors/classifiers and use them to automatically annotate the dataset for labeling efficiency?’. Basically, given only a small set of detectors that are learned to recognize some manually annotated attributes (i.e., the seen attributes), we aim to synthesize the detectors of novel attributes in a zero-shot learning manner. Our proposed method, Zero-Shot Learning for Attributes (ZSLA), which is the first of its kind to the best of our knowledge, tackles this new research problem by applying the set operations to first decompose the seen attributes into their basic attributes and then recombine these basic attributes into the novel ones. Extensive experiments are conducted to verify the capacity of our synthesized detectors for accurately capturing the semantics of the novel attributes and show their superior performance in terms of detection and localization compared to other baseline approaches. Moreover, we demonstrate the application of automatic annotation using our synthesized detectors on Caltech-UCSD Birds-200-2011 dataset. Various generalized zero-shot classification algorithms trained upon the dataset re-annotated by ZSLA show comparable performance with those trained with the manual ground-truth annotations. Please refer to our project page for source code: https://yuhsuanli.github.io/ZSLA/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google