Sagiri: Low Dynamic Range Image Enhancement with Generative Diffusion Prior

要約

8 ビット カメラを使用してハイ ダイナミック レンジ (HDR) 風景をキャプチャすると、露出オーバー/アンダー、低ビット深度圧縮による細部の損失、歪んだ色分布、暗い領域での強いノイズが発生することがよくあります。
従来の LDR 画像強化方法は主にカラー マッピングに焦点を当てており、画像の色の範囲を拡大し、明るさを調整することで視覚的表現を強化します。
ただし、これらのアプローチでは、ダイナミック レンジの極端な領域、つまりピクセル値が 0 または 255 に近い領域のコンテンツを効果的に復元できません。HDR イメージングの課題の全範囲に対処し、現在のモデルの限界を超えるために、私たちは新しい 2 つの方法を提案します。
ステージアプローチ。
第 1 段階では、既存の詳細を維持しながら色と明るさを適切な範囲にマッピングし、第 2 段階では、キャプチャ中に失われたダイナミック レンジの極限でコンテンツを生成する前に拡散を利用します。
この生成的リファインメント モジュールは、既存の LDR 拡張モデルを拡張および補完するプラグ アンド プレイ モジュールとしても使用できます。
提案された方法は、LDR 画像の品質と詳細を著しく向上させ、厳密な実験検証を通じて優れたパフォーマンスを実証します。
プロジェクトページは https://sairi0208.github.io にあります。

要約(オリジナル)

Capturing High Dynamic Range (HDR) scenery using 8-bit cameras often suffers from over-/underexposure, loss of fine details due to low bit-depth compression, skewed color distributions, and strong noise in dark areas. Traditional LDR image enhancement methods primarily focus on color mapping, which enhances the visual representation by expanding the image’s color range and adjusting the brightness. However, these approaches fail to effectively restore content in dynamic range extremes, which are regions with pixel values close to 0 or 255. To address the full scope of challenges in HDR imaging and surpass the limitations of current models, we propose a novel two-stage approach. The first stage maps the color and brightness to an appropriate range while keeping the existing details, and the second stage utilizes a diffusion prior to generate content in dynamic range extremes lost during capture. This generative refinement module can also be used as a plug-and-play module to enhance and complement existing LDR enhancement models. The proposed method markedly improves the quality and details of LDR images, demonstrating superior performance through rigorous experimental validation. The project page is at https://sagiri0208.github.io

arxiv情報

提供元, 利用サービス

arxiv.jp, Google