Image Quality Assessment: Integrating Model-Centric and Data-Centric Approaches

要約

学習ベースの画質評価 (IQA) は、過去 10 年間で目覚ましい進歩を遂げましたが、ほとんどの場合、モデルとデータという 2 つの重要な要素を相対的に切り離して考えています。
具体的には、モデル中心の IQA は、オーバーフィッティングの大きな危険性を伴いながら、固定されて広く再利用されたデータセットに対して「より良い」客観的な品質手法を開発することに重点を置いています。
データ中心の IQA では、精神物理学的実験を行って「より良い」人間の注釈付きデータセットを構築しますが、残念ながら、データセットの作成中に現在の IQA モデルを無視しています。
この論文では、モデルとデータのそのような分離がIQAのさらなる進歩を妨げることを計算的に調べるための一連の実験を最初に設計します。
次に、モデル中心とデータ中心の IQA を統合する計算フレームワークについて説明します。
具体的な例として、ブラインド IQA (BIQA) モデル予測と深いコンテンツ認識機能に基づいて、候補画像のサンプリング価値を定量化するための計算モジュールを設計します。
実験結果は、提案されたサンプリング価値モジュールが、検査された BIQA モデルのさまざまな失敗をうまく検出することを示しています。これは、次世代のデータセットに含める価値のあるサンプルです。

要約(オリジナル)

Learning-based image quality assessment (IQA) has made remarkable progress in the past decade, but nearly all consider the two key components – model and data – in relative isolation. Specifically, model-centric IQA focuses on developing ‘better’ objective quality methods on fixed and extensively reused datasets, with a great danger of overfitting. Data-centric IQA involves conducting psychophysical experiments to construct ‘better’ human-annotated datasets, which unfortunately ignores current IQA models during dataset creation. In this paper, we first design a series of experiments to probe computationally that such isolation of model and data impedes further progress of IQA. We then describe a computational framework that integrates model-centric and data-centric IQA. As a specific example, we design computational modules to quantify the sampling-worthiness of candidate images based on blind IQA (BIQA) model predictions and deep content-aware features. Experimental results show that the proposed sampling-worthiness module successfully spots diverse failures of the examined BIQA models, which are indeed worthy samples to be included in next-generation datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google