Adapting Pretrained Networks for Image Quality Assessment on High Dynamic Range Displays

要約

PSNR や SSIM などの従来の画質メトリクス (IQM) は、知覚的に均一なガンマ エンコードされたピクセル値を対象として設計されており、知覚的に不均一な線形ハイ ダイナミック レンジ (HDR) カラーに直接適用することはできません。
同様に、利用可能なデータセットのほとんどは、標準的な、および場合によっては制御されていない表示条件で収集された標準ダイナミック レンジ (SDR) 画像で構成されています。
一般的な事前トレーニング済みニューラル ネットワークも同様に SDR 入力を目的としており、HDR コンテンツへの直接適用に制限されています。
一方で、利用可能な HDR データが限られているため、HDR モデルを最初からトレーニングするのは困難です。
この研究では、HDR データの画質評価 (IQA) のための深層学習ベースのモデルをトレーニングするためのより効果的なアプローチを探ります。
SDR データ (ソース ドメイン) で事前トレーニングされたネットワークを活用し、追加の微調整とドメイン適応により、これらのモデルを HDR (ターゲット ドメイン) に再ターゲットします。
利用可能な HDR IQA データセットでメソッドを検証し、組み合わせたレシピでトレーニングされたモデルが以前のベースラインよりも優れたパフォーマンスを示し、より迅速に収束し、HDR 入力に確実に一般化できることを実証します。

要約(オリジナル)

Conventional image quality metrics (IQMs), such as PSNR and SSIM, are designed for perceptually uniform gamma-encoded pixel values and cannot be directly applied to perceptually non-uniform linear high-dynamic-range (HDR) colors. Similarly, most of the available datasets consist of standard-dynamic-range (SDR) images collected in standard and possibly uncontrolled viewing conditions. Popular pre-trained neural networks are likewise intended for SDR inputs, restricting their direct application to HDR content. On the other hand, training HDR models from scratch is challenging due to limited available HDR data. In this work, we explore more effective approaches for training deep learning-based models for image quality assessment (IQA) on HDR data. We leverage networks pre-trained on SDR data (source domain) and re-target these models to HDR (target domain) with additional fine-tuning and domain adaptation. We validate our methods on the available HDR IQA datasets, demonstrating that models trained with our combined recipe outperform previous baselines, converge much quicker, and reliably generalize to HDR inputs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google