Boosting Few-shot Fine-grained Recognition with Background Suppression and Foreground Alignment

要約

少数ショットのきめの細かい認識 (FS-FGR) は、利用可能な限られたサンプルを利用して、新しいきめの細かいカテゴリを認識することを目的としています。
間違いなく、このタスクは、少数ショット学習ときめの細かい認識の両方からの主な課題を継承しています。
まず、ラベル付けされたサンプルがないため、学習したモデルがオーバーフィットしやすくなります。
第二に、データセットのクラス内分散が大きく、クラス間差異が小さいという問題もあります。
この困難なタスクに対処するために、バックグラウンドアクティベーション抑制（BAS）モジュール、フォアグラウンドオブジェクトアラインメント（FOA）モジュール、およびローカルツーローカル（L2L）で構成される2段階のバックグラウンド抑制およびフォアグラウンドアラインメントフレームワークを提案します
) 類似性メトリック。
具体的には、ローカリゼーション用のフォアグラウンド マスクを生成するために BAS が導入され、背景の乱れを弱め、支配的なフォアグラウンド オブジェクトを強化します。
次に、FOA は、クエリに対する補正に従って各サポート サンプルの特徴マップを再構築します。これにより、サポート クエリ イメージ ペア間のミスアライメントの問題が解決されます。
提案された方法が混乱したサンプルの微妙な違いを捉えることができるようにするために、埋め込み空間内の整列された空間的特徴のペア間の局所的な類似性をさらに測定するための新しい L2L 類似性メトリックを提示します。
さらに、バックグラウンド干渉がロバスト性を低下させることを考慮して、生の画像と洗練された画像の両方を使用して、特徴マップのペアごとの類似性を推測します。
複数の一般的なきめの細かいベンチマークで実施された広範な実験は、私たちの方法が既存の最先端技術よりも大幅に優れていることを示しています。
ソース コードは、https://github.com/CSer-Tang-hao/BSFA-FSFG で入手できます。

要約(オリジナル)

Few-shot fine-grained recognition (FS-FGR) aims to recognize novel fine-grained categories with the help of limited available samples. Undoubtedly, this task inherits the main challenges from both few-shot learning and fine-grained recognition. First, the lack of labeled samples makes the learned model easy to overfit. Second, it also suffers from high intra-class variance and low inter-class differences in the datasets. To address this challenging task, we propose a two-stage background suppression and foreground alignment framework, which is composed of a background activation suppression (BAS) module, a foreground object alignment (FOA) module, and a local-to-local (L2L) similarity metric. Specifically, the BAS is introduced to generate a foreground mask for localization to weaken background disturbance and enhance dominative foreground objects. The FOA then reconstructs the feature map of each support sample according to its correction to the query ones, which addresses the problem of misalignment between support-query image pairs. To enable the proposed method to have the ability to capture subtle differences in confused samples, we present a novel L2L similarity metric to further measure the local similarity between a pair of aligned spatial features in the embedding space. What’s more, considering that background interference brings poor robustness, we infer the pairwise similarity of feature maps using both the raw image and the refined image. Extensive experiments conducted on multiple popular fine-grained benchmarks demonstrate that our method outperforms the existing state of the art by a large margin. The source codes are available at: https://github.com/CSer-Tang-hao/BSFA-FSFG.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google