Training Neural Networks on RAW and HDR Images for Restoration Tasks

要約

オンラインで入手できる標準的な画像およびビデオ コンテンツの大部分は、ディスプレイ エンコードされた色空間で表されます。この色空間では、ピクセル値が限られた範囲 (0 ～ 1) に都合よくスケーリングされ、色の分布は知覚的にほぼ均一になります。
対照的に、カメラの RAW 画像とハイ ダイナミック レンジ (HDR) 画像は両方とも線形色空間で表されることが多く、そこでは色の値が光の測色量に線形に関連付けられます。
一般に入手可能なディスプレイエンコード画像でのトレーニングは十分に確立された手法ですが、線形色空間の RAW および HDR 画像でのタスクに対してニューラル ネットワークをトレーニングする方法についてはコンセンサスがありません。
この作業では、ノイズ除去、ブレ除去、および単一画像の超解像度という 3 つの一般的な画像復元アプリケーションでいくつかのアプローチをテストします。
HDR/RAW 画像を一般的な伝達関数 (PQ、PU21、mu-law) を使用して表示エンコードする必要があるかどうか、または線形色空間でトレーニングする方が良いかどうかを検討しますが、知覚的な不均一性を補正する損失関数を使用します。
。
私たちの結果は、ニューラル ネットワークが、線形空間よりも優れた知覚均一性を提供する、ディスプレイ エンコードされた色空間で表現された HDR および RAW 画像でのトレーニングが大幅に優れていることを示しています。
トレーニング戦略に対するこの小さな変更により、パフォーマンスに最大 10 ～ 15 dB の大幅な向上がもたらされます。

要約(オリジナル)

The vast majority of standard image and video content available online is represented in display-encoded color spaces, in which pixel values are conveniently scaled to a limited range (0-1) and the color distribution is approximately perceptually uniform. In contrast, both camera RAW and high dynamic range (HDR) images are often represented in linear color spaces, in which color values are linearly related to colorimetric quantities of light. While training on commonly available display-encoded images is a well-established practice, there is no consensus on how neural networks should be trained for tasks on RAW and HDR images in linear color spaces. In this work, we test several approaches on three popular image restoration applications: denoising, deblurring, and single-image super-resolution. We examine whether HDR/RAW images need to be display-encoded using popular transfer functions (PQ, PU21, mu-law), or whether it is better to train in linear color spaces, but use loss functions that correct for perceptual non-uniformity. Our results indicate that neural networks train significantly better on HDR and RAW images represented in display-encoded color spaces, which offer better perceptual uniformity than linear spaces. This small change to the training strategy can bring a very substantial gain in performance, up to 10-15 dB.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google