A Feature Generator for Few-Shot Learning

要約

フューショット学習 (FSL) は、限定されたラベル付きデータを使用してモデルが新しいオブジェクトまたはクラスを認識できるようにすることを目的としています。
新しいデータ ポイントを合成して限られたデータセットを強化する特徴ジェネレーターが、この課題に対する有望なソリューションとして浮上しています。
このペーパーでは、FSL タスクの埋め込みプロセスを強化する際の特徴ジェネレーターの有効性を調査します。
クラスごとの画像の不足による不正確な埋め込みの問題に対処するために、クラスレベルのテキスト記述から視覚的な特徴を作成する特徴ジェネレーターを導入します。
分類器損失、弁別器損失、および生成された特徴と真のクラス埋め込みの間の距離損失の組み合わせを使用してジェネレーターをトレーニングすることにより、正確な同じクラス特徴の生成が保証され、全体的な特徴表現が強化されます。
私たちの結果は、ベースライン手法と比べて精度が大幅に向上していることを示しており、私たちのアプローチはベースライン モデルを 1 ショット アプローチで 10%、5 ショット アプローチで約 5% 上回っています。
さらに、この文書では、ビジュアルのみのジェネレーターとビジュアル + テキストのジェネレーターの両方もテストされました。
コードは https://github.com/heethanjan/Feature-Generator-for-FSL で公開されています。

要約(オリジナル)

Few-shot learning (FSL) aims to enable models to recognize novel objects or classes with limited labelled data. Feature generators, which synthesize new data points to augment limited datasets, have emerged as a promising solution to this challenge. This paper investigates the effectiveness of feature generators in enhancing the embedding process for FSL tasks. To address the issue of inaccurate embeddings due to the scarcity of images per class, we introduce a feature generator that creates visual features from class-level textual descriptions. By training the generator with a combination of classifier loss, discriminator loss, and distance loss between the generated features and true class embeddings, we ensure the generation of accurate same-class features and enhance the overall feature representation. Our results show a significant improvement in accuracy over baseline methods, with our approach outperforming the baseline model by 10% in 1-shot and around 5% in 5-shot approaches. Additionally, both visual-only and visual + textual generators have also been tested in this paper. The code is publicly available at https://github.com/heethanjan/Feature-Generator-for-FSL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google