MAC: A Benchmark for Multiple Attributes Compositional Zero-Shot Learning

要約

構成ゼロショット学習（CZSL）は、見た構成からセマンティックプリミティブ（属性とオブジェクト）を学び、目に見えない属性とオブジェクトの構成を認識することを目的としています。
既存のCZSLデータセットは、単一の属性に焦点を当てており、オブジェクトが自然に相互に関連する属性を自然に示すという事実を無視します。
それらの狭い属性の範囲と単一の属性ラベルは、注釈バイアスを導入し、属性の学習を誤解させ、不正確な評価を引き起こします。
これらの問題に対処するために、マルチアトリブ構成（MAC）データセットを紹介し、包括的で代表的な属性注釈を備えた22,838の画像と17,627の構成を含みます。
Macは、属性とオブジェクトの複雑な関係を示し、各属性タイプは平均82.2オブジェクトタイプにリンクされ、各オブジェクトタイプは31.4属性タイプに関連付けられています。
MACに基づいて、より深いセマンティック理解と高度な属性関連を必要とする多属性構成ゼロショット学習を提案し、CZSLのより現実的で挑戦的なベンチマークを確立します。
また、マルチアトリビティティビティティックインテグレーター（MVP-Integrator）を提案します。これは、セマンティックプリミティブを解き放ち、効果的な視覚プリミティブ関連の関連を実行する多属性CZSLの堅牢なベースラインです。
実験結果は、MVP-Integratorが推論効率が改善されたMAC上の既存のCZSLメソッドを大幅に上回ることを示しています。

要約(オリジナル)

Compositional Zero-Shot Learning (CZSL) aims to learn semantic primitives (attributes and objects) from seen compositions and recognize unseen attribute-object compositions. Existing CZSL datasets focus on single attributes, neglecting the fact that objects naturally exhibit multiple interrelated attributes. Their narrow attribute scope and single attribute labeling introduce annotation biases, misleading the learning of attributes and causing inaccurate evaluation. To address these issues, we introduce the Multi-Attribute Composition (MAC) dataset, encompassing 22,838 images and 17,627 compositions with comprehensive and representative attribute annotations. MAC shows complex relationship between attributes and objects, with each attribute type linked to an average of 82.2 object types, and each object type associated with 31.4 attribute types. Based on MAC, we propose multi-attribute compositional zero-shot learning that requires deeper semantic understanding and advanced attribute associations, establishing a more realistic and challenging benchmark for CZSL. We also propose Multi-attribute Visual-Primitive Integrator (MVP-Integrator), a robust baseline for multi-attribute CZSL, which disentangles semantic primitives and performs effective visual-primitive association. Experimental results demonstrate that MVP-Integrator significantly outperforms existing CZSL methods on MAC with improved inference efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google