Ontology-aware Network for Zero-shot Sketch-based Image Retrieval

要約

Zero-Shot Sketch-Based Image Retrieval (ZSSBIR) は新しいタスクです。
先駆的な研究はモーダル ギャップに焦点を当てていましたが、クラス間の情報は無視していました。
最近の研究では、クラス間情報をマイニングするためにトリプレットベースまたはコントラストベースの損失を考慮し始めていますが、ポジティブサンプルとネガティブサンプルを慎重に選択する必要があります。そうしないと、モデルがモダリティ固有の情報を失う傾向があります。
これらの問題に対応するために、オントロジー認識ネットワーク (OAN) が提案されています。
具体的には、スムーズなクラス間独立学習メカニズムを提唱して、クラス間の特異性を維持します。
一方、モダリティ固有の情報を保持するために、蒸留ベースの一貫性維持が利用されます。
大規模な実験により、2 つの挑戦的な Sketchy および Tu-Berlin データセットに対するアルゴリズムの優れたパフォーマンスが実証されました。

要約(オリジナル)

Zero-Shot Sketch-Based Image Retrieval (ZSSBIR) is an emerging task. The pioneering work focused on the modal gap but ignored inter-class information. Although recent work has begun to consider the triplet-based or contrast-based loss to mine inter-class information, positive and negative samples need to be carefully selected, or the model is prone to lose modality-specific information. To respond to these issues, an Ontology-Aware Network (OAN) is proposed. Specifically, the smooth inter-class independence learning mechanism is put forward to maintain inter-class peculiarity. Meanwhile, distillation-based consistency preservation is utilized to keep modality-specific information. Extensive experiments have demonstrated the superior performance of our algorithm on two challenging Sketchy and Tu-Berlin datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google