Learning from Mixed Datasets: A Monotonic Image Quality Assessment Model

要約

ディープ ラーニング ベースの画質評価 (IQA) モデルは通常、単一のデータセットから画質を予測することを学習し、モデルを特定のシーンにオーバーフィットさせます。
これを説明するために、混合データセットのトレーニングは、モデルの一般化機能を強化する効果的な方法になる可能性があります。
ただし、品質評価基準、スコア範囲、ビュー条件、および被写体は通常、画質注釈中に共有されないため、異なる IQA データセットを組み合わせることは自明ではありません。
この論文では、注釈を揃える代わりに、異なるデータセットを組み合わせた IQA モデル学習用の単調ニューラル ネットワークを提案します。
特に、私たちのモデルは、データセット共有の品質リグレッサーといくつかのデータセット固有の品質トランスフォーマーで構成されています。
品質リグレッサーは、各データセットの知覚的品質を取得することを目的としていますが、各品質トランスフォーマーは、単調性を維持しながら、知覚的品質を対応するデータセット注釈にマッピングします。
実験結果は、提案された学習戦略の有効性を検証しており、コードは https://github.com/fzp0424/MonotonicIQA で入手できます。

要約(オリジナル)

Deep learning based image quality assessment (IQA) models usually learn to predict image quality from a single dataset, leading the model to overfit specific scenes. To account for this, mixed datasets training can be an effective way to enhance the generalization capability of the model. However, it is nontrivial to combine different IQA datasets, as their quality evaluation criteria, score ranges, view conditions, as well as subjects are usually not shared during the image quality annotation. In this paper, instead of aligning the annotations, we propose a monotonic neural network for IQA model learning with different datasets combined. In particular, our model consists of a dataset-shared quality regressor and several dataset-specific quality transformers. The quality regressor aims to obtain the perceptual qualities of each dataset while each quality transformer maps the perceptual qualities to the corresponding dataset annotations with their monotonicity maintained. The experimental results verify the effectiveness of the proposed learning strategy and our code is available at https://github.com/fzp0424/MonotonicIQA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google