Bi-directional Feature Reconstruction Network for Fine-Grained Few-Shot Image Classification

要約

ファイングレインの少数ショット画像分類の主な課題は、クラス間変動が大きく、クラス内変動が小さい特徴表現を、ラベル付けされたわずかなサンプルで学習することです。
ただし、従来の少数ショットの学習方法は、このきめの細かい設定に単純に採用することはできません。簡単なパイロット スタディでは、実際には反対の方向 (つまり、クラス間変動を小さくし、クラス内変動を大きくする) を推進していることが明らかになりました。
この問題を軽減するために、以前の研究では主にサポート セットを使用してクエリ イメージを再構築し、メトリック学習を利用してそのカテゴリを決定していました。
注意深く調査すると、このような一方向の再構成方法はクラス間の変動を増やすのに役立つだけであり、クラス内の変動への取り組みには効果的ではないことがさらに明らかになります。
この論文では、クラス間およびクラス内の変動に同時に対応できる二重再構成メカニズムを初めて紹介します。
サポート セットを使用してクラス間変動を増やすためのクエリ セットを再構築することに加えて、さらにクエリ セットを使用して、クラス内変動を減らすためのサポート セットを再構築します。
この設計は、モデルが目の細かい問題の鍵となる、より微妙で差別的な機能を効果的に探索するのに役立ちます。
さらに、双方向モジュールと一緒に機能する自己再構築モジュールを構築して、機能をさらに識別できるようにします。
広く使用されている 3 つのきめの細かい画像分類データセットに関する実験結果は、他の方法と比較して一貫してかなりの改善を示しています。
コードは https://github.com/PRIS-CV/Bi-FRN で入手できます。

要約(オリジナル)

The main challenge for fine-grained few-shot image classification is to learn feature representations with higher inter-class and lower intra-class variations, with a mere few labelled samples. Conventional few-shot learning methods however cannot be naively adopted for this fine-grained setting — a quick pilot study reveals that they in fact push for the opposite (i.e., lower inter-class variations and higher intra-class variations). To alleviate this problem, prior works predominately use a support set to reconstruct the query image and then utilize metric learning to determine its category. Upon careful inspection, we further reveal that such unidirectional reconstruction methods only help to increase inter-class variations and are not effective in tackling intra-class variations. In this paper, we for the first time introduce a bi-reconstruction mechanism that can simultaneously accommodate for inter-class and intra-class variations. In addition to using the support set to reconstruct the query set for increasing inter-class variations, we further use the query set to reconstruct the support set for reducing intra-class variations. This design effectively helps the model to explore more subtle and discriminative features which is key for the fine-grained problem in hand. Furthermore, we also construct a self-reconstruction module to work alongside the bi-directional module to make the features even more discriminative. Experimental results on three widely used fine-grained image classification datasets consistently show considerable improvements compared with other methods. Codes are available at: https://github.com/PRIS-CV/Bi-FRN.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google