Perceptual Constancy Constrained Single Opinion Score Calibration for Image Quality Assessment

要約

この論文では、単一の意見スコア (SOS) から画像の平均意見スコア (MOS) を推定する高効率な方法を提案します。
各 SOS が正規分布の観察されたサンプルであり、MOS がその未知の期待値であると仮定すると、MOS 推論は最尤推定問題として定式化され、SOS の尤度をモデル化する際にペアごとの画像の知覚相関が考慮されます。
より具体的には、自己教師付きバックボーンから学習した品質を意識した表現を使用して、2 つの画像間の MOS 差を予測するための学習可能な相対品質尺度を導入します。
次に、現在の画像の MOS に対する最尤推定は、別の参照画像の推定 MOS とそれらの相対品質の合計によって表されます。
理想的には、どの画像が基準として選択されても、現在の画像の MOS は変化しないはずです。これを知覚定常性制約キャリブレーション (PC3) と呼びます。
最後に、バックプロパゲーションとニュートン法をそれぞれ使用して、相対品質尺度のパラメーターと現在の画像の推定 MOS を交互に最適化します。
実験により、提案された方法は偏った SOS の校正に効率的であり、SOS のみが利用可能な場合に IQA モデルの学習が大幅に改善されることが示されています。

要約(オリジナル)

In this paper, we propose a highly efficient method to estimate an image’s mean opinion score (MOS) from a single opinion score (SOS). Assuming that each SOS is the observed sample of a normal distribution and the MOS is its unknown expectation, the MOS inference is formulated as a maximum likelihood estimation problem, where the perceptual correlation of pairwise images is considered in modeling the likelihood of SOS. More specifically, by means of the quality-aware representations learned from the self-supervised backbone, we introduce a learnable relative quality measure to predict the MOS difference between two images. Then, the current image’s maximum likelihood estimation towards MOS is represented by the sum of another reference image’s estimated MOS and their relative quality. Ideally, no matter which image is selected as the reference, the MOS of the current image should remain unchanged, which is termed perceptual cons tancy constrained calibration (PC3). Finally, we alternatively optimize the relative quality measure’s parameter and the current image’s estimated MOS via backpropagation and Newton’s method respectively. Experiments show that the proposed method is efficient in calibrating the biased SOS and significantly improves IQA model learning when only SOSs are available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google