How Quality Affects Deep Neural Networks in Fine-Grained Image Classification

要約

この論文では、詳細な分類システムのパフォーマンスを向上させるために、非参照画像品質評価 (NRIQA) に基づくカットオフ ポイント選択 (CPS) 戦略を提案します。
同じ画像に対して既存の NRIQA 手法によって与えられるスコアは変動する可能性があり、予想されるほど自然な画像拡張から独立していないため、きめの細かい画像分類との関連性と説明可能性が弱まります。
最も一般的に採用されている 3 つの画像拡張構成 (トリミング、回転、ぼかし) をエントリ ポイントとして、モデル予測の信頼性の両方を考慮して、特定の画像データセットから最も識別力の高いサブセットを選択するための 2 段階のメカニズムを定式化します。
いくつかの NRIQA メソッドにわたる画質の密度分布。
具体的には、これらの方法によって得られたカットオフ ポイントが多数決によって集約され、画像サブセット選択のプロセスに通知されます。
このようなメカニズムの有効性と効率は、高品質の画像でトレーニングされているモデルを、高品質と低品質の画像の組み合わせと比較することによって確認されており、商用製品データセットでは 0.7% ～ 4.2% の改善が見られます。
4 つのディープ ニューラル分類器による平均精度の条件。
このメカニズムの堅牢性は、アブレーション研究で ResNet34 を使用した場合、選択されたすべての高品質画像が 70% の低品質画像と連携して機能し、分類精度が 1.3% 犠牲になるという観察によって証明されています。

要約(オリジナル)

In this paper, we propose a No-Reference Image Quality Assessment (NRIQA) guided cut-off point selection (CPS) strategy to enhance the performance of a fine-grained classification system. Scores given by existing NRIQA methods on the same image may vary and not be as independent of natural image augmentations as expected, which weakens their connection and explainability to fine-grained image classification. Taking the three most commonly adopted image augmentation configurations — cropping, rotating, and blurring — as the entry point, we formulate a two-step mechanism for selecting the most discriminative subset from a given image dataset by considering both the confidence of model predictions and the density distribution of image qualities over several NRIQA methods. Concretely, the cut-off points yielded by those methods are aggregated via majority voting to inform the process of image subset selection. The efficacy and efficiency of such a mechanism have been confirmed by comparing the models being trained on high-quality images against a combination of high- and low-quality ones, with a range of 0.7% to 4.2% improvement on a commercial product dataset in terms of mean accuracy through four deep neural classifiers. The robustness of the mechanism has been proven by the observations that all the selected high-quality images can work jointly with 70% low-quality images with 1.3% of classification precision sacrificed when using ResNet34 in an ablation study.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google