Enhancing RAW-to-sRGB with Decoupled Style Structure in Fourier Domain

要約

スマートフォンのRAW画像をデジタル一眼レフカメラ（DSLR）と同等のRGB形式に変換することを目的としたRAW to sRGBマッピングは、重要な研究分野となっている。しかし、現在の手法では、携帯電話のRAW画像とデジタル一眼レフカメラのRGB画像の違いが無視されていることが多く、その違いはカラーマトリックスにとどまらず、解像度の違いによる空間構造にまで及んでいる。最近の手法では、カラーマッピングと空間構造を共有された深層表現によって直接再構築するため、最適なパフォーマンスが得られません。画像の復元と強調を区別する画像信号処理（ISP）パイプラインに触発され、我々はFourierISPと名付けられた新しいニューラルISPフレームワークを提示する。このアプローチは、画像を周波数領域内のスタイルと構造に分解し、独立した最適化を可能にする。FourierISPは3つのサブネットワークから構成される：構造洗練のためのPhase Enhance Subnet、色学習のためのAmplitude Refine Subnet、そしてそれらを滑らかにブレンドするためのColor Adaptation Subnetである。このアプローチは色と構造の両方をシャープにし、様々なデータセットでの広範な評価により、我々のアプローチが最先端の結果を実現することを確認した。コードは~url{https://github.com/alexhe101/FourierISP}で公開される。

要約(オリジナル)

RAW to sRGB mapping, which aims to convert RAW images from smartphones into RGB form equivalent to that of Digital Single-Lens Reflex (DSLR) cameras, has become an important area of research. However, current methods often ignore the difference between cell phone RAW images and DSLR camera RGB images, a difference that goes beyond the color matrix and extends to spatial structure due to resolution variations. Recent methods directly rebuild color mapping and spatial structure via shared deep representation, limiting optimal performance. Inspired by Image Signal Processing (ISP) pipeline, which distinguishes image restoration and enhancement, we present a novel Neural ISP framework, named FourierISP. This approach breaks the image down into style and structure within the frequency domain, allowing for independent optimization. FourierISP is comprised of three subnetworks: Phase Enhance Subnet for structural refinement, Amplitude Refine Subnet for color learning, and Color Adaptation Subnet for blending them in a smooth manner. This approach sharpens both color and structure, and extensive evaluations across varied datasets confirm that our approach realizes state-of-the-art results. Code will be available at ~\url{https://github.com/alexhe101/FourierISP}.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL