Image Quality Assessment: Integrating Model-Centric and Data-Centric Approaches

要約

学習ベースの画質評価 (IQA) は過去 10 年間で目覚ましい進歩を遂げましたが、ほぼすべての場合、2 つの主要なコンポーネント (モデルとデータ) を単独で考慮しています。
具体的には、モデル中心の IQA は、過剰適合の大きな危険を伴う、固定され広範囲に再利用されるデータセットに対する「より良い」客観的品質手法の開発に焦点を当てています。
データ中心の IQA には、人間による「より良い」注釈付きデータセットを構築するための心理物理学的実験の実施が含まれますが、残念なことに、データセット作成時に現在の IQA モデルが無視されます。
この論文では、最初に、モデルとデータのそのような分離が IQA のさらなる進歩を妨げることを計算的に調査する一連の実験を設計します。
次に、モデル中心の IQA とデータ中心の IQA を統合する計算フレームワークについて説明します。
具体的な例として、候補画像のサンプリング価値を定量化する計算モジュールを設計します。
実験結果は、提案されたサンプリング価値モジュールが、検査されたブラインド IQA モデルのさまざまな失敗をうまく特定することに成功し、これらは実際に次世代のデータセットに含まれる価値のあるサンプルであることを示しています。

要約(オリジナル)

Learning-based image quality assessment (IQA) has made remarkable progress in the past decade, but nearly all consider the two key components — model and data — in isolation. Specifically, model-centric IQA focuses on developing “better” objective quality methods on fixed and extensively reused datasets, with a great danger of overfitting. Data-centric IQA involves conducting psychophysical experiments to construct “better” human-annotated datasets, which unfortunately ignores current IQA models during dataset creation. In this paper, we first design a series of experiments to probe computationally that such isolation of model and data impedes further progress of IQA. We then describe a computational framework that integrates model-centric and data-centric IQA. As a specific example, we design computational modules to quantify the sampling-worthiness of candidate images. Experimental results show that the proposed sampling-worthiness module successfully spots diverse failures of the examined blind IQA models, which are indeed worthy samples to be included in next-generation datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google