Zero-Shot Bird Species Recognition by Learning from Field Guides

要約

フィールドガイドを利用して、鳥の種の認識、特に目に見えない種のゼロショット認識を学習します。
フィールドガイドに含まれているイラストは、種の識別特性に意図的に焦点を当てており、知識を目に見えるクラスから目に見えないクラスに移すための副次的な情報として役立ちます。
2つのアプローチを研究します。（1）ゼロショット学習スキームにフィードできるイラストの対照的なエンコーディング。
（2）イラストも画像であり、他の種類の副次的情報よりも構造的に写真に類似しているという事実を活用する新しい方法。
私たちの結果は、幅広い種ですぐに利用できるフィールドガイドからのイラストが確かに副次的な情報の競争力のある情報源であることを示しています。
iNaturalist2021サブセットでは、$ 45 \％$（@ top-10）および$ 15 \％$（@ top-1）より大きい749個の表示されたクラスと739個の表示されていないクラスから調和平均を取得します。
これは、フィールドガイドが多くの種の現実世界のシナリオに挑戦するための貴重なオプションであることを示しています。

要約(オリジナル)

We exploit field guides to learn bird species recognition, in particular zero-shot recognition of unseen species. The illustrations contained in field guides deliberately focus on discriminative properties of a species, and can serve as side information to transfer knowledge from seen to unseen classes. We study two approaches: (1) a contrastive encoding of illustrations that can be fed into zero-shot learning schemes; and (2) a novel method that leverages the fact that illustrations are also images and as such structurally more similar to photographs than other kinds of side information. Our results show that illustrations from field guides, which are readily available for a wide range of species, are indeed a competitive source of side information. On the iNaturalist2021 subset, we obtain a harmonic mean from 749 seen and 739 unseen classes greater than $45\%$ (@top-10) and $15\%$ (@top-1). Which shows that field guides are a valuable option for challenging real-world scenarios with many species.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google