Mask Reference Image Quality Assessment

要約

セマンティック情報を理解することは、完全参照 (FR) と非参照 (NR) の両方の画質評価 (IQA) メソッドで何が学習されているかを知る上で不可欠なステップです。
しかし、特に歪みの激しい画像が多い場合、参照として歪みのない画像 (FR-IQA) があっても、歪みのある画像の失われたセマンティックおよびテクスチャ情報を直接認識することは困難です。
この論文では、歪んだ画像の特定のパッチをマスクし、不足しているパッチを参照画像パッチで補うマスク参照 IQA (MR-IQA) 法を提案します。
このように、私たちのモデルは、品質評価のために再構成された画像を入力するだけで済みます。
まず、参照画像から最適な候補パッチを選択し、歪んだ画像で失われたセマンティック情報を補完するマスク ジェネレーターを設計して、品質評価のためのより多くの参照を提供します。
さらに、さまざまなマスクされたパッチは、さまざまなデータ拡張を意味し、モデルのトレーニングに有利に働き、過剰適合を減らします。
次に、マスク参照ネットワーク (MRNet) を提供します。専用モジュールは、マスクされたパッチによる障害を防ぎ、再構成された画像のパッチの不連続を排除するのに役立ちます。
私たちの方法は、ベンチマークの KADID-10k、LIVE、および CSIQ データセットで最先端のパフォーマンスを達成し、データセット全体でより優れた一般化パフォーマンスを発揮します。
コードと結果は、補足資料で入手できます。

要約(オリジナル)

Understanding semantic information is an essential step in knowing what is being learned in both full-reference (FR) and no-reference (NR) image quality assessment (IQA) methods. However, especially for many severely distorted images, even if there is an undistorted image as a reference (FR-IQA), it is difficult to perceive the lost semantic and texture information of distorted images directly. In this paper, we propose a Mask Reference IQA (MR-IQA) method that masks specific patches of a distorted image and supplements missing patches with the reference image patches. In this way, our model only needs to input the reconstructed image for quality assessment. First, we design a mask generator to select the best candidate patches from reference images and supplement the lost semantic information in distorted images, thus providing more reference for quality assessment; in addition, the different masked patches imply different data augmentations, which favors model training and reduces overfitting. Second, we provide a Mask Reference Network (MRNet): the dedicated modules can prevent disturbances due to masked patches and help eliminate the patch discontinuity in the reconstructed image. Our method achieves state-of-the-art performances on the benchmark KADID-10k, LIVE and CSIQ datasets and has better generalization performance across datasets. The code and results are available in the supplementary material.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google