Complementary Frequency-Varying Awareness Network for Open-Set Fine-Grained Image Recognition

要約

オープンセット画像認識は、コンピューター ビジョンにおける難しいテーマです。
既存の文献のほとんどは、入力画像からより識別可能な特徴を学習することに焦点を当てていますが、通常、特徴の高周波成分や低周波成分には鈍感であり、その結果、きめの細かい画像認識のパフォーマンスが低下します。
この問題に対処するために、私たちは、CFAN と呼ばれる、高周波情報と低周波情報の両方をより適切に捕捉できる、相補的な周波数変動認識ネットワークを提案します。
提案された CFAN は 3 つの連続モジュールで構成されます。(i) 入力画像から予備的な特徴を学習するために特徴抽出モジュールが導入されます。
(ii) 周波数可変フィルタリング モジュールは、周波数調整可能なフィルタを介して、周波数領域の予備的な特徴から高周波成分と低周波成分の両方を分離するように設計されています。
(iii) 相補的な時間集約モジュールは、2 つの長短期記憶ネットワークを介して高周波成分と低周波成分を識別特徴に集約するように設計されています。
CFAN に基づいて、CFAN-OSFGR と呼ばれるオープンセットのきめの細かい画像認識方法をさらに提案します。これは、CFAN を介して画像の特徴を学習し、線形分類器を介してそれらを分類します。
3 つのきめの細かいデータセットと 2 つの粗いデータセットに関する実験結果は、ほとんどの場合、CFAN-OSFGR が 9 つの最先端の方法よりも大幅に優れたパフォーマンスを発揮することを示しています。

要約(オリジナル)

Open-set image recognition is a challenging topic in computer vision. Most of the existing works in literature focus on learning more discriminative features from the input images, however, they are usually insensitive to the high- or low-frequency components in features, resulting in a decreasing performance on fine-grained image recognition. To address this problem, we propose a Complementary Frequency-varying Awareness Network that could better capture both high-frequency and low-frequency information, called CFAN. The proposed CFAN consists of three sequential modules: (i) a feature extraction module is introduced for learning preliminary features from the input images; (ii) a frequency-varying filtering module is designed to separate out both high- and low-frequency components from the preliminary features in the frequency domain via a frequency-adjustable filter; (iii) a complementary temporal aggregation module is designed for aggregating the high- and low-frequency components via two Long Short-Term Memory networks into discriminative features. Based on CFAN, we further propose an open-set fine-grained image recognition method, called CFAN-OSFGR, which learns image features via CFAN and classifies them via a linear classifier. Experimental results on 3 fine-grained datasets and 2 coarse-grained datasets demonstrate that CFAN-OSFGR performs significantly better than 9 state-of-the-art methods in most cases.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google