Siamese Contrastive Embedding Network for Compositional Zero-Shot Learning

要約

コンポジションゼロショットラーニング（CZSL）は、トレーニング中に見た状態とオブジェクトから形成された見えないコンポジションを認識することを目的としています。
同じ状態が異なるオブジェクトと絡み合っている間、視覚的な外観が異なる可能性があるため、CZSLは依然として困難な作業です。
一部のメソッドは、オブジェクトと状態の間の相互作用の影響を無視して、2つのトレーニングされた分類子を使用して状態とオブジェクトを認識します。
他の方法は、状態オブジェクト構成の共同表現を学習しようとし、表示された構成セットと表示されていない構成セットの間のドメインギャップにつながります。
この論文では、目に見えない構成認識のための新しいシャム対照埋め込みネットワーク（SCEN）（コード：https：//github.com/XDUxyLi/SCEN-master）を提案します。
状態とオブジェクトの絡み合いを考慮して、視覚的特徴をシャムの対照空間に埋め込んで、それらのプロトタイプを個別にキャプチャし、状態とオブジェクト間の相互作用を軽減します。
さらに、トレーニング構成の多様性を高め、認識モデルの堅牢性を向上させるために、状態遷移モジュール（STM）を設計します。
広範な実験は、私たちの方法が、最近提案されたC-QGAデータセットを含む、3つの挑戦的なベンチマークデータセットでの最先端のアプローチを大幅に上回っていることを示しています。

要約(オリジナル)

Compositional Zero-Shot Learning (CZSL) aims to recognize unseen compositions formed from seen state and object during training. Since the same state may be various in the visual appearance while entangled with different objects, CZSL is still a challenging task. Some methods recognize state and object with two trained classifiers, ignoring the impact of the interaction between object and state; the other methods try to learn the joint representation of the state-object compositions, leading to the domain gap between seen and unseen composition sets. In this paper, we propose a novel Siamese Contrastive Embedding Network (SCEN) (Code: https://github.com/XDUxyLi/SCEN-master) for unseen composition recognition. Considering the entanglement between state and object, we embed the visual feature into a Siamese Contrastive Space to capture prototypes of them separately, alleviating the interaction between state and object. In addition, we design a State Transition Module (STM) to increase the diversity of training compositions, improving the robustness of the recognition model. Extensive experiments indicate that our method significantly outperforms the state-of-the-art approaches on three challenging benchmark datasets, including the recent proposed C-QGA dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google