Fine-grained Species Recognition with Privileged Pooling: Better Sample Efficiency Through Supervised Attention

要約

我々は、教師あり画像分類のためのスキームを提案する。このスキームでは、訓練データのキーポイント注釈という形で特権的な情報を利用し、小さな訓練セットや偏った訓練セットから強力なモデルを学習する。生物多様性モデリングのような生態学的応用のための動物種の認識は、希少種による長尾型の種分布や、カメラトラップにおける反復的なシーン背景のような強いデータセットバイアスのために困難である。これらの課題に対抗するために、我々は、重要なオブジェクト部分を強調するキーポイント注釈を介して教師される視覚的注意メカニズムを提案する。この特権的情報は、新しい特権的プーリング操作として実装され、訓練時にのみ必要とされ、モデルが識別可能な領域に集中するのに役立つ。3つの異なる動物種のデータセットを用いた実験において、特権プーリングを用いたディープネットワークは、小さな訓練セットをより効率的に利用でき、より良く汎化できることを示す。

要約(オリジナル)

We propose a scheme for supervised image classification that uses privileged information, in the form of keypoint annotations for the training data, to learn strong models from small and/or biased training sets. Our main motivation is the recognition of animal species for ecological applications such as biodiversity modelling, which is challenging because of long-tailed species distributions due to rare species, and strong dataset biases such as repetitive scene background in camera traps. To counteract these challenges, we propose a visual attention mechanism that is supervised via keypoint annotations that highlight important object parts. This privileged information, implemented as a novel privileged pooling operation, is only required during training and helps the model to focus on regions that are discriminative. In experiments with three different animal species datasets, we show that deep networks with privileged pooling can use small training sets more efficiently and generalize better.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL