Perceptual Attacks of No-Reference Image Quality Models with Human-in-the-Loop

要約

無参照画像品質評価（NR-IQA）は、デジタル画像の歪みを、歪みのない参照画像にアクセスすることなく、人間がどのように知覚するかを定量化することを目的としている。NR-IQAモデルは計算ビジョンにおいて広く研究されており、人工視覚システムの性能評価や知覚最適化に広く利用されている。ここでは、NR-IQAモデルの知覚的頑健性を検証する最初の試みの一つを行う。ラグランジュ定式化の下で、我々は提案する知覚攻撃とコンピュータビジョンや機械学習における以前の美しいアイデアとの洞察に満ちた繋がりを明らかにする。我々は、1つの知識駆動型と3つのデータ駆動型のNR-IQA手法を、4つの完全参照IQAモデル（ちょうど気付くことができる差の人間の知覚に近似したものとして）の下でテストする。その結果、4つのNR-IQAモデル全てが、提案した知覚攻撃に対して脆弱であることがわかった。さらに興味深いことに、生成された反例は移植不可能であり、それぞれのNR-IQA手法の設計フローとして現れることが観察された。

要約(オリジナル)

No-reference image quality assessment (NR-IQA) aims to quantify how humans perceive visual distortions of digital images without access to their undistorted references. NR-IQA models are extensively studied in computational vision, and are widely used for performance evaluation and perceptual optimization of man-made vision systems. Here we make one of the first attempts to examine the perceptual robustness of NR-IQA models. Under a Lagrangian formulation, we identify insightful connections of the proposed perceptual attack to previous beautiful ideas in computer vision and machine learning. We test one knowledge-driven and three data-driven NR-IQA methods under four full-reference IQA models (as approximations to human perception of just-noticeable differences). Through carefully designed psychophysical experiments, we find that all four NR-IQA models are vulnerable to the proposed perceptual attack. More interestingly, we observe that the generated counterexamples are not transferable, manifesting themselves as distinct design flows of respective NR-IQA methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL