Learned Lightweight Smartphone ISP with Unpaired Data

要約

Image Signal Processor（ISP）は、知覚品質に重点を置いて、RAWセンサー画像データのRGB画像への変換を担当する最新のスマートフォンカメラの基本コンポーネントです。
最近の研究は、深い学習アプローチの可能性と、プロのカメラの品質にますます近い品質で詳細をキャプチャする能力を強調しています。
学習したISPを開発する際の困難で費用のかかるステップは、スマートフォンカメラセンサーによってキャプチャされたRAWを高品質の参照画像にマップするPixelごとのアラインドペアデータの取得です。
この作業では、一致するコンテンツを使用して、生の画像とグラウンドトゥルースデータの間の直接的な対応の必要性を排除する学習可能なISPのための新しいトレーニング方法を提案することにより、この課題に対処します。
私たちの対応のないアプローチは、ターゲットRGBデータセットから色とテクスチャの特性を学習しながら、コンテンツ構造を維持するために、事前に訓練されたネットワークからマップを処理する複数の判別器を処理する敵対的トレーニングによって導かれる複数期の損失関数を採用しています。
バックボーンとしてモバイルデバイスに適した軽量ニューラルネットワークアーキテクチャを使用して、Zurich RawのRGBおよびFujifilm Ultraispデータセットの方法を評価しました。
ペアのトレーニング方法と比較して、当社の不対の学習戦略は強力な可能性を示し、複数の評価メトリックにわたって高い忠実度を達成します。
コードと事前に訓練されたモデルは、https：//github.com/andreiiarhire/Learned-lightweight-smartphone-isp-with-unpaired-dataで入手できます。

要約(オリジナル)

The Image Signal Processor (ISP) is a fundamental component in modern smartphone cameras responsible for conversion of RAW sensor image data to RGB images with a strong focus on perceptual quality. Recent work highlights the potential of deep learning approaches and their ability to capture details with a quality increasingly close to that of professional cameras. A difficult and costly step when developing a learned ISP is the acquisition of pixel-wise aligned paired data that maps the raw captured by a smartphone camera sensor to high-quality reference images. In this work, we address this challenge by proposing a novel training method for a learnable ISP that eliminates the need for direct correspondences between raw images and ground-truth data with matching content. Our unpaired approach employs a multi-term loss function guided by adversarial training with multiple discriminators processing feature maps from pre-trained networks to maintain content structure while learning color and texture characteristics from the target RGB dataset. Using lightweight neural network architectures suitable for mobile devices as backbones, we evaluated our method on the Zurich RAW to RGB and Fujifilm UltraISP datasets. Compared to paired training methods, our unpaired learning strategy shows strong potential and achieves high fidelity across multiple evaluation metrics. The code and pre-trained models are available at https://github.com/AndreiiArhire/Learned-Lightweight-Smartphone-ISP-with-Unpaired-Data .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google