LEDiff: Latent Exposure Diffusion for HDR Generation

要約

消費者向けディスプレイでは 10 ストップを超えるダイナミック レンジのサポートが増えていますが、インターネット写真や生成 AI コンテンツなどのほとんどの画像資産は依然として 8 ビットのロー ダイナミック レンジ (LDR) に制限されており、ハイ ダイナミック レンジ (HDR) アプリケーション全体での有用性が制限されています。
現在、一般化可能な方法で高ビット、高ダイナミック レンジのコンテンツを生成できる生成モデルはありません。
既存の LDR から HDR への変換方法では、クリップされた領域に写真のようにリアルな詳細と物理的に妥当なダイナミック レンジを生成するのに苦労することがよくあります。
画像空間露出融合技術に触発された潜在空間融合を通じて HDR コンテンツ生成による生成モデルを可能にする手法である LEDiff を紹介します。
また、LDR から HDR へのコンバーターとしても機能し、既存の低ダイナミック レンジ画像のダイナミック レンジを拡大します。
私たちのアプローチでは、小さな HDR データセットを使用して、事前トレーニングされた拡散モデルがクリップされたハイライトとシャドウのディテールとダイナミック レンジを復元できるようにします。
LEDiff は既存の生成モデルに HDR 機能をもたらし、あらゆる LDR 画像を HDR に変換し、画像生成、画像ベースの照明 (HDR 環境マップ生成)、および被写界深度シミュレーションなどの写真効果用のフォトリアリスティックな HDR 出力を作成します。
リアルな品質には不可欠です。

要約(オリジナル)

While consumer displays increasingly support more than 10 stops of dynamic range, most image assets such as internet photographs and generative AI content remain limited to 8-bit low dynamic range (LDR), constraining their utility across high dynamic range (HDR) applications. Currently, no generative model can produce high-bit, high-dynamic range content in a generalizable way. Existing LDR-to-HDR conversion methods often struggle to produce photorealistic details and physically-plausible dynamic range in the clipped areas. We introduce LEDiff, a method that enables a generative model with HDR content generation through latent space fusion inspired by image-space exposure fusion techniques. It also functions as an LDR-to-HDR converter, expanding the dynamic range of existing low-dynamic range images. Our approach uses a small HDR dataset to enable a pretrained diffusion model to recover detail and dynamic range in clipped highlights and shadows. LEDiff brings HDR capabilities to existing generative models and converts any LDR image to HDR, creating photorealistic HDR outputs for image generation, image-based lighting (HDR environment map generation), and photographic effects such as depth of field simulation, where linear HDR data is essential for realistic quality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google