Adaptive Feature Selection for No-Reference Image Quality Assessment by Mitigating Semantic Noise Sensitivity

要約

現在の最先端の非参照画像品質評価（NR-IQA）メソッドは、通常、すべての抽出された機能が関連すると仮定して、上流のセマンティックバックボーンネットワークからの機能抽出に依存しています。
ただし、すべての機能が有益であるわけではなく、一部の機能が有害である可能性があり、慎重な選択が必要である可能性があるという重要な観察結果を出します。
経験的には、小さな特徴の空間距離を持つ多くの画像ペアが非常に異なる品質スコアを持つことができることがわかります。これは、抽出された機能にかなりの量の品質に関係のあるノイズが含まれている可能性があることを示しています。
この問題に対処するために、敵対的な視点を使用して上流タスクから有害なセマンティックノイズ機能を削除するIQAメトリック（QFM-IQM）に一致する品質認識機能を提案します。
具体的には、QFM-IQMは、画像ペアを同様の品質スコアと一致させることにより、セマンティックノイズの区別機能を強化しますが、セマンティックの特徴は敵対的なセマンティックノイズとしてさまざまなもので、逆流ノイズの摂動に対する感度を低下させることにより、上流のタスクの特徴を適応的に調整します。
さらに、蒸留フレームワークを利用してデータセットを拡張し、モデルの一般化能力を向上させます。
私たちのアプローチは、8つの標準IQAデータセットで最先端のNR-IQAメソッドよりも優れたパフォーマンスを達成します。

要約(オリジナル)

The current state-of-the-art No-Reference Image Quality Assessment (NR-IQA) methods typically rely on feature extraction from upstream semantic backbone networks, assuming that all extracted features are relevant. However, we make a key observation that not all features are beneficial, and some may even be harmful, necessitating careful selection. Empirically, we find that many image pairs with small feature spatial distances can have vastly different quality scores, indicating that the extracted features may contain a significant amount of quality-irrelevant noise. To address this issue, we propose a Quality-Aware Feature Matching IQA Metric (QFM-IQM) that employs an adversarial perspective to remove harmful semantic noise features from the upstream task. Specifically, QFM-IQM enhances the semantic noise distinguish capabilities by matching image pairs with similar quality scores but varying semantic features as adversarial semantic noise and adaptively adjusting the upstream task’s features by reducing sensitivity to adversarial noise perturbation. Furthermore, we utilize a distillation framework to expand the dataset and improve the model’s generalization ability. Our approach achieves superior performance to the state-of-the-art NR-IQA methods on eight standard IQA datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google