Transform your Smartphone into a DSLR Camera: Learning the ISP in the Wild

要約

スマートフォンで撮影したRAW画像からデジタル一眼レフ品質の画像を生成するトレーニング可能な画像信号処理（ISP）フレームワークを提案します。
トレーニング画像ペア間の色のずれに対処するために、色条件付きISPネットワークを採用し、各入力RAW画像と参照DSLR画像間の新しいパラメトリックカラーマッピングを最適化します。
推論中に、効率的なGlobal Context Transformerモジュールを使用して色予測ネットワークを設計することにより、ターゲットの色画像を予測します。
後者は、グローバル情報を効果的に活用して、一貫した色とトーンのマッピングを学習します。
さらに、トレーニング中に不正確なモーション推定で領域を識別して破棄するために、堅牢なマスクされた整列損失を提案します。
最後に、弱くペアになっている電話のRAW画像とDSLRsRGB画像で構成されるISPinthe Wild（ISPW）データセットを紹介します。
2つのデータセットに新しい最先端技術を設定して、メソッドを広範囲に評価します。

要約(オリジナル)

We propose a trainable Image Signal Processing (ISP) framework that produces DSLR quality images given RAW images captured by a smartphone. To address the color misalignments between training image pairs, we employ a color-conditional ISP network and optimize a novel parametric color mapping between each input RAW and reference DSLR image. During inference, we predict the target color image by designing a color prediction network with efficient Global Context Transformer modules. The latter effectively leverage global information to learn consistent color and tone mappings. We further propose a robust masked aligned loss to identify and discard regions with inaccurate motion estimation during training. Lastly, we introduce the ISP in the Wild (ISPW) dataset, consisting of weakly paired phone RAW and DSLR sRGB images. We extensively evaluate our method, setting a new state-of-the-art on two datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google