ArtHDR-Net: Perceptually Realistic and Accurate HDR Content Creation

要約

ハイ ダイナミック レンジ (HDR) コンテンツの作成は、現代のメディアおよびエンターテインメント分野、ゲームおよび拡張現実/仮想現実業界にとって重要なテーマとなっています。
単一露出または多重露出 LDR を与えられた入力ロー ダイナミック レンジ (LDR) 画像/ビデオの HDR 相当物を再作成するための多くの方法が提案されています。
最先端の方法は、再構成の構造的類似性とピクセル単位の精度の維持に主に焦点を当てています。
しかし、これらの従来のアプローチは、メディア、エンターテイメント、ゲームに不可欠な要素である人間の視覚認識という観点から画像の芸術的意図を維持することを重視していません。
この論文では、このギャップを研究し、埋めることを試みます。
私たちは、多重露出 LDR 特徴を入力として使用する畳み込みニューラル ネットワークに基づく ArtHDR-Net と呼ばれるアーキテクチャを提案します。
実験結果は、ArtHDR-Net が PSNR と SSIM の点で競争力のあるパフォーマンスを達成しながら、HDR-VDP-2 スコア (つまり、平均意見スコア指数) の点で最先端のパフォーマンスを達成できることを示しています。

要約(オリジナル)

High Dynamic Range (HDR) content creation has become an important topic for modern media and entertainment sectors, gaming and Augmented/Virtual Reality industries. Many methods have been proposed to recreate the HDR counterparts of input Low Dynamic Range (LDR) images/videos given a single exposure or multi-exposure LDRs. The state-of-the-art methods focus primarily on the preservation of the reconstruction’s structural similarity and the pixel-wise accuracy. However, these conventional approaches do not emphasize preserving the artistic intent of the images in terms of human visual perception, which is an essential element in media, entertainment and gaming. In this paper, we attempt to study and fill this gap. We propose an architecture called ArtHDR-Net based on a Convolutional Neural Network that uses multi-exposed LDR features as input. Experimental results show that ArtHDR-Net can achieve state-of-the-art performance in terms of the HDR-VDP-2 score (i.e., mean opinion score index) while reaching competitive performance in terms of PSNR and SSIM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google