A Perceptually Optimized and Self-Calibrated Tone Mapping Operator

要約

【タイトル】知覚的に最適化された自己キャリブレーション・トーンマッピング演算子

【要約】
– 高ダイナミックレンジ（HDR）写真の人気とアクセシビリティが高まる中、ダイナミックレンジ圧縮のためのトーンマッピング演算子（TMO）が実用的に要求されています。
– 本論文では、知覚的に最適化された自己キャリブレーションに基づく2段階のニューラルネットワークベースのTMOを開発しました。
– ステージ1では、人間の視覚システムの早期段階の生理学に基づいて、HDR画像を正規化ラプラシアンピラミッドに分解します。次に、正規化表現を入力としてLDR画像に対応するラプラシアンピラミッドを推定する2つの軽量ディープニューラルネットワーク（DNN）を使用します。
– ステージ2では、入力HDR画像を自己キャリブレーションして最終的なLDR画像を計算します。異なる最大輝度でスケーリングされた同じHDR画像を学習されたトーンマッピングネットワークに送り、異なるディテールの可視性と色彩飽和度を持つ疑似的なマルチ露光画像スタックを生成します。次に、LDR画像スタックを望ましいLDR画像に融合するために別の軽量DNNをトレーニングします。
– 本手法は、MEF-SSIMの構造類似性指数のバリエーションを最大化することにより、融合された画像の品質に関連することが証明された知覚的に重要な方法を最大化することにより、知覚的に最適化されます。
– 提案された自己キャリブレーションメカニズムにより、TMOはキャリブレーションされていないHDR画像を受け入れることができ、また、生理学に基づいています。詳細な実験により、本手法は一貫してより良い視覚的品質を持つ画像を生成することが示されました。
– また、本手法は3つの軽量DNNに基づいているため、最速のローカルTMOの1つとなっています。

要約(オリジナル)

With the increasing popularity and accessibility of high dynamic range (HDR) photography, tone mapping operators (TMOs) for dynamic range compression are practically demanding. In this paper, we develop a two-stage neural network-based TMO that is self-calibrated and perceptually optimized. In Stage one, motivated by the physiology of the early stages of the human visual system, we first decompose an HDR image into a normalized Laplacian pyramid. We then use two lightweight deep neural networks (DNNs), taking the normalized representation as input and estimating the Laplacian pyramid of the corresponding LDR image. We optimize the tone mapping network by minimizing the normalized Laplacian pyramid distance (NLPD), a perceptual metric aligning with human judgments of tone-mapped image quality. In Stage two, the input HDR image is self-calibrated to compute the final LDR image. We feed the same HDR image but rescaled with different maximum luminances to the learned tone mapping network, and generate a pseudo-multi-exposure image stack with different detail visibility and color saturation. We then train another lightweight DNN to fuse the LDR image stack into a desired LDR image by maximizing a variant of the structural similarity index for multi-exposure image fusion (MEF-SSIM), which has been proven perceptually relevant to fused image quality. The proposed self-calibration mechanism through MEF enables our TMO to accept uncalibrated HDR images, while being physiology-driven. Extensive experiments show that our method produces images with consistently better visual quality. Additionally, since our method builds upon three lightweight DNNs, it is among the fastest local TMOs.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI