Enhancing Few-Shot Image Classification through Learnable Multi-Scale Embedding and Attention Mechanisms

要約

少数ショット分類のコンテキストでは、満足のいくパフォーマンスを維持しながら、限られた数のサンプルを使用して分類器をトレーニングすることが目標です。
ただし、従来のメトリクスベースの方法では、この目的を達成するには一定の制限があります。
これらの方法は通常、クエリ フィーチャとサポート フィーチャの間の単一の距離値に依存するため、浅いフィーチャの寄与が見落とされます。
この課題を克服するために、この論文では新しいアプローチを提案します。
私たちのアプローチには、サンプルを個別の特徴空間にマッピングするマルチ出力埋め込みネットワークの利用が含まれます。
提案された方法は、さまざまな段階で特徴ベクトルを抽出し、モデルが全体的な特徴と抽象的な特徴の両方をキャプチャできるようにします。
これらの多様な特徴空間を利用することにより、私たちのモデルはそのパフォーマンスを向上させます。
さらに、セルフ アテンション メカニズムを採用することで、各段階での特徴の洗練が向上し、より堅牢な表現と全体的なパフォーマンスの向上につながります。
さらに、学習可能な重みを各ステージに割り当てることで、パフォーマンスと結果が大幅に向上しました。
MiniImageNet と FC100 データセット、特に 5 ウェイ 1 ショット シナリオと 5 ウェイ 5 ショット シナリオで包括的な評価を実施しました。
さらに、MiniImageNet から CUB データセットへのクロスドメイン タスクを実行し、テスト ドメインで高い精度を達成しました。
これらの評価は、最先端のアプローチと比較して、私たちが提案する方法の有効性を示しています。
https://github.com/FatemehAskari/MSENet

要約(オリジナル)

In the context of few-shot classification, the goal is to train a classifier using a limited number of samples while maintaining satisfactory performance. However, traditional metric-based methods exhibit certain limitations in achieving this objective. These methods typically rely on a single distance value between the query feature and support feature, thereby overlooking the contribution of shallow features. To overcome this challenge, we propose a novel approach in this paper. Our approach involves utilizing multi-output embedding network that maps samples into distinct feature spaces. The proposed method extract feature vectors at different stages, enabling the model to capture both global and abstract features. By utilizing these diverse feature spaces, our model enhances its performance. Moreover, employing a self-attention mechanism improves the refinement of features at each stage, leading to even more robust representations and improved overall performance. Furthermore, assigning learnable weights to each stage significantly improved performance and results. We conducted comprehensive evaluations on the MiniImageNet and FC100 datasets, specifically in the 5-way 1-shot and 5-way 5-shot scenarios. Additionally, we performed a cross-domain task from MiniImageNet to the CUB dataset, achieving high accuracy in the testing domain. These evaluations demonstrate the efficacy of our proposed method in comparison to state-of-the-art approaches. https://github.com/FatemehAskari/MSENet

arxiv情報

提供元, 利用サービス

arxiv.jp, Google