Learning Prototype via Placeholder for Zero-shot Recognition

要約

ゼロショット学習 (ZSL) は、見えるクラスと見えないクラスの間で共有されるセマンティック記述を活用することによって、見えないクラスを認識することを目的としています。
現在の方法は、セマンティック埋め込みをクラス プロトタイプとしてビジュアル空間に投影することにより、ビジュアル セマンティック アラインメントを学習することが効果的であることを示しています。
ただし、そのような射影関数は、見られたクラスのみに関係しています。
目に見えないクラスに適用すると、ドメイン シフトのためにプロトタイプのパフォーマンスが最適化されないことがよくあります。
このホワイト ペーパーでは、LPL と呼ばれるプレースホルダーを介してプロトタイプを学習し、表示クラスと非表示クラスの間のドメイン シフトを排除することを提案します。
具体的には、目に見えるクラスを組み合わせて、視覚的および意味空間で目に見えないクラスのプレースホルダーとして機能する新しいクラスを幻覚させます。
見られたクラスの間に配置されたプレースホルダーは、見られたクラスのプロトタイプが高度に分散されることを促進します。
また、十分に分離された目に見えないものを挿入するためにより多くのスペースが確保されています。
経験的に、適切に分離されたプロトタイプは、ドメイン シフトによって引き起こされる視覚的セマンティックの不整合を打ち消すのに役立ちます。
さらに、新しいセマンティック指向の微調整を利用して、プレースホルダーのセマンティックの信頼性を保証します。
5 つのベンチマーク データセットでの広範な実験により、最先端の方法よりも LPL のパフォーマンスが大幅に向上することが実証されています。
コードは https://github.com/zaiquanyang/LPL で入手できます。

要約(オリジナル)

Zero-shot learning (ZSL) aims to recognize unseen classes by exploiting semantic descriptions shared between seen classes and unseen classes. Current methods show that it is effective to learn visual-semantic alignment by projecting semantic embeddings into the visual space as class prototypes. However, such a projection function is only concerned with seen classes. When applied to unseen classes, the prototypes often perform suboptimally due to domain shift. In this paper, we propose to learn prototypes via placeholders, termed LPL, to eliminate the domain shift between seen and unseen classes. Specifically, we combine seen classes to hallucinate new classes which play as placeholders of the unseen classes in the visual and semantic space. Placed between seen classes, the placeholders encourage prototypes of seen classes to be highly dispersed. And more space is spared for the insertion of well-separated unseen ones. Empirically, well-separated prototypes help counteract visual-semantic misalignment caused by domain shift. Furthermore, we exploit a novel semantic-oriented fine-tuning to guarantee the semantic reliability of placeholders. Extensive experiments on five benchmark datasets demonstrate the significant performance gain of LPL over the state-of-the-art methods. Code is available at https://github.com/zaiquanyang/LPL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google