Half of an image is enough for quality assessment

要約

ディープ ネットワークは、画質評価 (IQA) の分野で有望な結果を示しています。
ただし、IQA の深層モデルがどのように機能するかを理解するための研究は限られています。
この研究では、IQA 用の新しい位置マスク トランスフォーマーを紹介し、全体的な品質に対する画像のさまざまな領域の寄与についての洞察を提供します。
結果は、画像の半分が画質を決定する上で些細な役割を果たしている可能性があることを示していますが、残りの半分は重要です。
この観察結果は、他のいくつかの CNN ベースの IQA モデルにも拡張されており、画像領域の半分が全体的な画像品質に大きな影響を与える可能性があることが明らかになりました。
さらに理解を深めるために、3 つのセマンティック メジャー (顕著性、頻度、およびオブジェクト性) が導出され、IQA における画像領域の重要性と高い相関関係があることがわかりました。

要約(オリジナル)

Deep networks have demonstrated promising results in the field of Image Quality Assessment (IQA). However, there has been limited research on understanding how deep models in IQA work. This study introduces a novel positional masked transformer for IQA and provides insights into the contribution of different regions of an image towards its overall quality. Results indicate that half of an image may play a trivial role in determining image quality, while the other half is critical. This observation is extended to several other CNN-based IQA models, revealing that half of the image regions can significantly impact the overall image quality. To further enhance our understanding, three semantic measures (saliency, frequency, and objectness) were derived and found to have high correlation with the importance of image regions in IQA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google