Leaf Cultivar Identification via Prototype-enhanced Learning

要約

タイトル：プロトタイプ強化学習による葉覆いの品種識別
要約：植物の葉の識別は、生物多様性保護や保存において重要であり、近年学界の注目を集めている。しかし、異なる品種間の類似性が高いため、葉覆いの品種識別は超細粒度な視覚分類タスクの一つであり、大きな課題を抱えている。通常、1つのインスタンスは複数の品種に異なる程度で関連しているため、特に超細粒度な視覚分類タスクにおいては、深層学習によるモデル訓練が難しくなる。本研究では、クラス間の類似性情報を統合したソフトターゲットを生成することで、この問題に対処する。具体的には、各カテゴリーのプロトタイプ特徴量を連続的に更新し、インスタンスとプロトタイプの類似度スコアをキャプチャし、その後、元のワンホットラベルと類似度スコアを組み合わせて、拡張ラベルを生成します。プロトタイプ強化型のソフトラベルは、元のワンホットラベル情報だけでなく、豊富なクラス間の意味的関連情報を導入するため、深層モデル訓練により効果的な監視を提供します。公開データセット上の広範な実験結果から、我々の方法は、葉覆いの品種識別の超細粒度な視覚分類タスクにおいて、性能を大幅に改善することが示された。

– 植物の葉の識別は生物多様性保護のために重要とされる。
– 葉覆いの品種識別は超細かいタスクであり、異なる品種間の類似性が高いため、深層学習のモデル訓練が困難である。
– ソフトターゲットを生成することで、クラス間の類似性情報を取り入れた方法が提案された。
– プロトタイプ強化型のソフトラベルにより、元のワンホットラベルだけでなく、クラス間の意味的関連情報を導入することができる。
– 公開データセットにおいて葉覆いの品種識別のタスクに対し、性能を大幅に改善することが示された。

要約(オリジナル)

Plant leaf identification is crucial for biodiversity protection and conservation and has gradually attracted the attention of academia in recent years. Due to the high similarity among different varieties, leaf cultivar recognition is also considered to be an ultra-fine-grained visual classification (UFGVC) task, which is facing a huge challenge. In practice, an instance may be related to multiple varieties to varying degrees, especially in the UFGVC datasets. However, deep learning methods trained on one-hot labels fail to reflect patterns shared across categories and thus perform poorly on this task. To address this issue, we generate soft targets integrated with inter-class similarity information. Specifically, we continuously update the prototypical features for each category and then capture the similarity scores between instances and prototypes accordingly. Original one-hot labels and the similarity scores are incorporated to yield enhanced labels. Prototype-enhanced soft labels not only contain original one-hot label information, but also introduce rich inter-category semantic association information, thus providing more effective supervision for deep model training. Extensive experimental results on public datasets show that our method can significantly improve the performance on the UFGVC task of leaf cultivar identification.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI