Learning Adversarial Semantic Embeddings for Zero-Shot Recognition in Open Worlds

要約

ゼロショット学習 (ZSL) は、トレーニング中に提示される副意味情報のみを使用して、未確認のクラスのサンプルを分類することに焦点を当てています。
トレーニング中にサンプル (画像など) もその副次的意味情報も不明な、未知のクラスのテスト サンプルが存在する現実のオープンワールド シナリオを処理することはできません。
オープンセット認識 (OSR) は、未知のクラスの問題に対処することに特化していますが、既存の OSR メソッドは、目に見えないクラスのセマンティック情報をモデル化するように設計されていません。
この ZSL と OSR の組み合わせの問題に取り組むために、「ゼロショット オープンセット認識」(ZS-OSR) のケースを検討します。この場合、モデルは ZSL 設定でトレーニングされますが、目に見えないクラスからサンプルを正確に分類する必要があります。
一方で、推論中に未知のクラスからのサンプルを拒否することもできます。
我々は、ZSL タスクから適応された 4 つの広く使用されているデータセットに対して、ZS-OSR タスク用の既存の最先端の ZSL モデルと OSR モデルを組み合わせた大規模な実験を実行し、ZS-OSR が単純なタスクであることを明らかにしました。
組み合わせたソリューションは、未知のクラスのサンプルと未知のクラスのサンプルを区別する際にあまり機能しません。
さらに、ZS-OSR 用に特別に設計された新しいアプローチを導入します。このアプローチでは、モデルが未知のクラスの敵対的なセマンティック埋め込みを生成して、未知の情報を活用した ZS-OSR 分類器をトレーニングすることを学習します。
広範な経験的結果は、私たちの方法が 1) 未知のクラスの分類精度を維持しながら未知のクラスの検出において、組み合わせたソリューションよりも大幅に優れていること、および 2) 一般化された ZS-OSR 設定の下で同様の優位性を達成することを示しています。

要約(オリジナル)

Zero-Shot Learning (ZSL) focuses on classifying samples of unseen classes with only their side semantic information presented during training. It cannot handle real-life, open-world scenarios where there are test samples of unknown classes for which neither samples (e.g., images) nor their side semantic information is known during training. Open-Set Recognition (OSR) is dedicated to addressing the unknown class issue, but existing OSR methods are not designed to model the semantic information of the unseen classes. To tackle this combined ZSL and OSR problem, we consider the case of ‘Zero-Shot Open-Set Recognition’ (ZS-OSR), where a model is trained under the ZSL setting but it is required to accurately classify samples from the unseen classes while being able to reject samples from the unknown classes during inference. We perform large experiments on combining existing state-of-the-art ZSL and OSR models for the ZS-OSR task on four widely used datasets adapted from the ZSL task, and reveal that ZS-OSR is a non-trivial task as the simply combined solutions perform badly in distinguishing the unseen-class and unknown-class samples. We further introduce a novel approach specifically designed for ZS-OSR, in which our model learns to generate adversarial semantic embeddings of the unknown classes to train an unknowns-informed ZS-OSR classifier. Extensive empirical results show that our method 1) substantially outperforms the combined solutions in detecting the unknown classes while retaining the classification accuracy on the unseen classes and 2) achieves similar superiority under generalized ZS-OSR settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google