JNDMix: JND-Based Data Augmentation for No-reference Image Quality Assessment

要約

非参照画像品質評価 (NR-IQA) の大幅な進歩にもかかわらず、以前のトレーニング モデルは、使用されるデータセットの規模が限られているためにオーバー フィッティングに悩まされることが多く、モデル パフォーマンスのボトルネックが発生します。
この課題に取り組むために、データ拡張を活用してデータ効率を改善し、モデルの堅牢性を強化する可能性を探ります。
ただし、ほとんどの既存のデータ拡張方法では、深刻な問題が発生します。つまり、画像の品質が変化し、元のラベルと一致しないトレーニング画像が生じるということです。
さらに、NR-IQA タスクで使用できるデータ増強方法はごくわずかですが、データセットの多様性を豊かにする能力はまだ不十分です。
これらの問題に対処するために、JNDMix という名前の NR-IQA タスクのちょうど目立つ差異 (JND) ノイズ混合に基づく効果的で一般的なデータ拡張を提案します。
詳細には、人間の視覚系 (HVS) には認識できない JND ノイズを、ラベルを調整せずにトレーニング イメージにランダムに挿入します。
広範な実験により、JNDMix がさまざまな最先端の NR-IQA モデルと一般的に使用されるベースライン モデルのパフォーマンスとデータ効率、および一般化能力を大幅に向上させることが実証されています。
さらに重要なことに、JNDMix は MANIQA が LIVEC と KonIQ-10k で最先端のパフォーマンスを達成するのを容易にします。

要約(オリジナル)

Despite substantial progress in no-reference image quality assessment (NR-IQA), previous training models often suffer from over-fitting due to the limited scale of used datasets, resulting in model performance bottlenecks. To tackle this challenge, we explore the potential of leveraging data augmentation to improve data efficiency and enhance model robustness. However, most existing data augmentation methods incur a serious issue, namely that it alters the image quality and leads to training images mismatching with their original labels. Additionally, although only a few data augmentation methods are available for NR-IQA task, their ability to enrich dataset diversity is still insufficient. To address these issues, we propose a effective and general data augmentation based on just noticeable difference (JND) noise mixing for NR-IQA task, named JNDMix. In detail, we randomly inject the JND noise, imperceptible to the human visual system (HVS), into the training image without any adjustment to its label. Extensive experiments demonstrate that JNDMix significantly improves the performance and data efficiency of various state-of-the-art NR-IQA models and the commonly used baseline models, as well as the generalization ability. More importantly, JNDMix facilitates MANIQA to achieve the state-of-the-art performance on LIVEC and KonIQ-10k.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google