DarkDiff: Advancing Low-Light Raw Enhancement by Retasking Diffusion Models for Camera ISP

要約

極端な低光環境での高品質の写真は挑戦的ですが、デジタルカメラには影響力があります。
高度なコンピューティングハードウェアを使用すると、従来のカメラ画像信号プロセッサ（ISP）アルゴリズムが、騒々しい生の画像をよりインテリジェントに強化する効率的なディープネットワークに徐々に置き換えられています。
ただし、既存の回帰ベースのモデルは、多くの場合、ピクセルエラーを最小限に抑え、低光の写真や深い影の滑走をもたらします。
最近の作業は、拡散モデルをゼロからトレーニングすることにより、この制限に対処しようとしましたが、これらのモデルは依然としてシャープな画像の詳細と正確な色を回復するのに苦労しています。
カメラISPを使用して事前に訓練された生成拡散モデルを返済することにより、低光の生の画像を強化するための新しいフレームワークを紹介します。
広範な実験は、私たちの方法が、3つの挑戦的な低光の生の画像ベンチマークにわたって、知覚品質の最先端を上回ることを示しています。

要約(オリジナル)

High-quality photography in extreme low-light conditions is challenging but impactful for digital cameras. With advanced computing hardware, traditional camera image signal processor (ISP) algorithms are gradually being replaced by efficient deep networks that enhance noisy raw images more intelligently. However, existing regression-based models often minimize pixel errors and result in oversmoothing of low-light photos or deep shadows. Recent work has attempted to address this limitation by training a diffusion model from scratch, yet those models still struggle to recover sharp image details and accurate colors. We introduce a novel framework to enhance low-light raw images by retasking pre-trained generative diffusion models with the camera ISP. Extensive experiments demonstrate that our method outperforms the state-of-the-art in perceptual quality across three challenging low-light raw image benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google