On the Importance of Denoising when Learning to Compress Images

要約

画像ノイズは写真のいたるところに存在します。
ただし、画像ノイズは圧縮可能でも望ましいものでもないため、圧縮画像ビットストリームでノイズを伝えようとすると、レートと歪みの両方で標準以下の結果が得られます。
コーデックをトレーニングするときに画像ノイズ除去タスクを明示的に学習することを提案します。
したがって、さまざまな ISO 番号でキャプチャされたさまざまなシーンを提供する Natural Image Noise Dataset を活用し、わずかなものも含めてさまざまなノイズ レベルをもたらします。
このトレーニング セットを前提として、ノイズの多い画像とクリーンな画像のペアを使用してコーデックを監視し、さまざまなノイズ レベルの画像の混合に基づいてトレーニングされた単一モデルが、ノイズのある画像とクリーンな画像の両方でクラス最高の結果を生み出すように見えることを示します。
圧縮のみのモデルよりもレート歪みが優れており、GMac 操作がほぼ 1 桁少ない、ノイズ除去後に圧縮のペアのモデルよりも優れています。

要約(オリジナル)

Image noise is ubiquitous in photography. However, image noise is not compressible nor desirable, thus attempting to convey the noise in compressed image bitstreams yields sub-par results in both rate and distortion. We propose to explicitly learn the image denoising task when training a codec. Therefore, we leverage the Natural Image Noise Dataset, which offers a wide variety of scenes captured with various ISO numbers, leading to different noise levels, including insignificant ones. Given this training set, we supervise the codec with noisy-clean image pairs, and show that a single model trained based on a mixture of images with variable noise levels appears to yield best-in-class results with both noisy and clean images, achieving better rate-distortion than a compression-only model or even than a pair of denoising-then-compression models with almost one order of magnitude fewer GMac operations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google