TALDS-Net: Task-Aware Adaptive Local Descriptors Selection for Few-shot Image Classification

要約

数ショットの画像分類は、少ないサンプルで未知の新規クラスから画像を分類することを目的としている。最近の研究では、深い局所記述子は、画像レベルの特徴量と比較して、より高い表現能力を示すことが実証されている。しかし、既存の手法のほとんどは、全ての局所記述子を採用するか、部分記述子を直接利用するかのどちらかだけに依存しており、重要な情報が失われる可能性がある。さらに、これらの手法は、サポート記述子を見落とし、クエリ記述子の選択に主眼を置いている。本論文では、タスクを意識したサポート記述子とクエリ記述子の適応的な選択能力を示す、新しいタスク適応型局所記述子選択ネットワーク（Task-Aware Adaptive Local Descriptors Selection Network: TALDS-Net）を提案する。具体的には、各ローカルサポート記述子の類似度を他のローカルサポート記述子と比較し、最適なサポート記述子部分集合を得、クエリ記述子を最適なサポート部分集合と比較し、識別可能なクエリ記述子を得る。広範な実験により、我々のTALDS-Netは、一般的なデータセットときめ細かいデータセットの両方において、最先端の手法を凌駕することが実証された。

要約(オリジナル)

Few-shot image classification aims to classify images from unseen novel classes with few samples. Recent works demonstrate that deep local descriptors exhibit enhanced representational capabilities compared to image-level features. However, most existing methods solely rely on either employing all local descriptors or directly utilizing partial descriptors, potentially resulting in the loss of crucial information. Moreover, these methods primarily emphasize the selection of query descriptors while overlooking support descriptors. In this paper, we propose a novel Task-Aware Adaptive Local Descriptors Selection Network (TALDS-Net), which exhibits the capacity for adaptive selection of task-aware support descriptors and query descriptors. Specifically, we compare the similarity of each local support descriptor with other local support descriptors to obtain the optimal support descriptor subset and then compare the query descriptors with the optimal support subset to obtain discriminative query descriptors. Extensive experiments demonstrate that our TALDS-Net outperforms state-of-the-art methods on both general and fine-grained datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL