Multi-Level Correlation Network For Few-Shot Image Classification

要約

少数ショット画像分類 (FSIC) は、基本クラスから少数のラベル付き画像が与えられた場合に、新しいクラスを認識することを目的としています。
最近の研究では、特に画像特徴レベルのみの尺度が通常使用される計量学習方法において、有望な分類パフォーマンスが達成されています。
この論文では、そのようなレベルでの測定は、少数の画像のみを使用する場合、基本クラスから新しいクラスに一般化するには十分に効果的ではない可能性があると主張します。
代わりに、この論文では画像のマルチレベル記述子を考慮します。
ローカル情報を効果的に取得することでこの問題に取り組むために、FSIC 用のマルチレベル相関ネットワーク (MLCN) を提案します。
具体的には、学習した表現に基づいて局所情報の意味的対応関係を学習する自己相関モジュールと相互相関モジュールを提示する。
さらに、きめの細かい画像のパターンを捕捉し、基本クラスと新規クラス間の関連する構造パターンを見つけるためのパターン相関モジュールを提案します。
広範な実験と分析により、広く使用されている 4 つの FSIC ベンチマークに対する私たちの提案手法の有効性が示されています。
私たちのアプローチのコードは、https://github.com/Yunkai696/MLCN で入手できます。

要約(オリジナル)

Few-shot image classification(FSIC) aims to recognize novel classes given few labeled images from base classes. Recent works have achieved promising classification performance, especially for metric-learning methods, where a measure at only image feature level is usually used. In this paper, we argue that measure at such a level may not be effective enough to generalize from base to novel classes when using only a few images. Instead, a multi-level descriptor of an image is taken for consideration in this paper. We propose a multi-level correlation network (MLCN) for FSIC to tackle this problem by effectively capturing local information. Concretely, we present the self-correlation module and cross-correlation module to learn the semantic correspondence relation of local information based on learned representations. Moreover, we propose a pattern-correlation module to capture the pattern of fine-grained images and find relevant structural patterns between base classes and novel classes. Extensive experiments and analysis show the effectiveness of our proposed method on four widely-used FSIC benchmarks. The code for our approach is available at: https://github.com/Yunkai696/MLCN.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google