REQA: Coarse-to-fine Assessment of Image Quality to Alleviate the Range Effect

要約

ユーザー生成コンテンツ (UGC) のブラインド画質評価 (BIQA) は範囲効果に悩まされます。これは、全体的な品質範囲で、平均オピニオン スコア (MOS) と予測 MOS (pMOS) が十分に相関していることを示しています。
特定の範囲に注目すると、相関が低くなります。
範囲効果の理由は、広い範囲と狭い範囲の両方で予測される偏差が、MOS と pMOS の間の均一性を破壊することです。
この問題に取り組むために、粗粒度のメトリックから細粒度の予測への新しい方法が提案されています。
まず、粗視化メトリックのランクと勾配の損失を設計します。
この損失により、pMOS と MOS の間で順序と勾配の一貫性が保たれ、それによって予測偏差が広範囲で減少します。
第二に、きめ細かな予測を行うために、マルチレベルの許容損失を提案します。
損失は​​、減少するしきい値によって制限され、予測される偏差をますます狭い範囲に制限します。
最後に、フィードバック ネットワークを設計して、大まかな評価を行います。
一方では、ネットワークはフィードバック ブロックを採用してマルチスケールの歪み特徴を繰り返し処理し、他方では非ローカル コンテキスト特徴を各反復の出力に融合して、より品質を意識した特徴表現を取得します。
実験結果は、提案された方法が最先端の方法と比較して範囲効果を効果的に軽減できることを示しています。

要約(オリジナル)

Blind image quality assessment (BIQA) of user generated content (UGC) suffers from the range effect which indicates that on the overall quality range, mean opinion score (MOS) and predicted MOS (pMOS) are well correlated; focusing on a particular range, the correlation is lower. The reason for the range effect is that the predicted deviations both in a wide range and in a narrow range destroy the uniformity between MOS and pMOS. To tackle this problem, a novel method is proposed from coarse-grained metric to fine-grained prediction. Firstly, we design a rank-and-gradient loss for coarse-grained metric. The loss keeps the order and grad consistency between pMOS and MOS, thereby reducing the predicted deviation in a wide range. Secondly, we propose multi-level tolerance loss to make fine-grained prediction. The loss is constrained by a decreasing threshold to limite the predicted deviation in narrower and narrower ranges. Finally, we design a feedback network to conduct the coarse-to-fine assessment. On the one hand, the network adopts feedback blocks to process multi-scale distortion features iteratively and on the other hand, it fuses non-local context feature to the output of each iteration to acquire more quality-aware feature representation. Experimental results demonstrate that the proposed method can alleviate the range effect compared to the state-of-the-art methods effectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google