Day-to-Night Image Synthesis for Training Nighttime Neural ISPs

要約

現在、多くのスマートフォンのフラッグシップカメラは、専用のニューラル画像信号処理装置（ISP）を使用して、ノイズの多いセンサー生画像を最終的な処理済み出力にレンダリングしています。ナイトモードISPのネットワーク学習は、以下のような画像ペアの大規模なデータセットに依存しています。(1) 短い露出と高いISOゲインで撮影されたノイズの多い生画像 (2) 長い露出と低いISOで撮影され、ISPを通してレンダリングされた、真実の低ノイズの生画像。このような画像ペアの撮影は面倒で時間がかかり、画像ペア間のアライメントを確保するための慎重なセットアップが必要です。また、グランドトゥルース画像は、長時間露光のため、しばしばモーションブラーが発生しやすくなります。そこで、昼間の画像から夜間の画像を合成する手法を提案する。昼間の画像は撮影が容易であり、スマートフォンのカメラでも低ノイズであり、ブレが少ない。我々は、昼間の生画像を、異なるノイズレベルの現実的な夜間生画像の外観に変換する処理の枠組みを概説する。この処理により、ノイズのある夜間画像とノイズのない夜間画像のペアを簡単に生成することができる。この合成フレームワークの有効性を、ナイトモードレンダリングのためのニューラルISPの学習によって示す。さらに、合成した夜間画像と少量の実データ（例えば5%から10%）を併用することで、実画像のみを用いた学習とほぼ同等の性能が得られることを示す。我々のデータセットとコードは https://github.com/SamsungLabs/day-to-night で公開されている。

要約(オリジナル)

Many flagship smartphone cameras now use a dedicated neural image signal processor (ISP) to render noisy raw sensor images to the final processed output. Training nightmode ISP networks relies on large-scale datasets of image pairs with: (1) a noisy raw image captured with a short exposure and a high ISO gain; and (2) a ground truth low-noise raw image captured with a long exposure and low ISO that has been rendered through the ISP. Capturing such image pairs is tedious and time-consuming, requiring careful setup to ensure alignment between the image pairs. In addition, ground truth images are often prone to motion blur due to the long exposure. To address this problem, we propose a method that synthesizes nighttime images from daytime images. Daytime images are easy to capture, exhibit low-noise (even on smartphone cameras) and rarely suffer from motion blur. We outline a processing framework to convert daytime raw images to have the appearance of realistic nighttime raw images with different levels of noise. Our procedure allows us to easily produce aligned noisy and clean nighttime image pairs. We show the effectiveness of our synthesis framework by training neural ISPs for nightmode rendering. Furthermore, we demonstrate that using our synthetic nighttime images together with small amounts of real data (e.g., 5% to 10%) yields performance almost on par with training exclusively on real nighttime images. Our dataset and code are available at https://github.com/SamsungLabs/day-to-night.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL