Bracket Diffusion: HDR Image Generation by Consistent LDR Denoising

要約

複数のブラックボックス、事前に訓練されたLDR画像拡散モデルの協調アクションを使用して、HDR画像の生成を実証します。
事前に訓練されたLDR生成拡散モデルに依存することは、第一に、それらを再訓練するのに利用可能な十分に大きなHDR画像データセットがないため、それがほとんどのモデルを再訓練することは、ほとんどの計算予算では不可能です。
代わりに、単一のHDR画像を生成するために、「露出ブラケット」と呼ばれるLDR画像のセットを伝統的に融合するHDR画像キャプチャ文献からインスピレーションを求めています。
複数の除去プロセスを操作して、有効なHDR結果を形成する複数のLDRブラケットを生成します。
この作業を行うための鍵は、拡散プロセスに一貫性の用語を導入してブラケットを結合し、量子化エラーによる違いの可能性を考慮しながら共有する露出範囲間で同意するようにすることです。
HDRでは、最先端の無条件で条件付きまたは復元型（LDR2HDR）生成モデリングの結果を示しています。

要約(オリジナル)

We demonstrate generating HDR images using the concerted action of multiple black-box, pre-trained LDR image diffusion models. Relying on a pre-trained LDR generative diffusion models is vital as, first, there is no sufficiently large HDR image dataset available to re-train them, and, second, even if it was, re-training such models is impossible for most compute budgets. Instead, we seek inspiration from the HDR image capture literature that traditionally fuses sets of LDR images, called ‘exposure brackets”, to produce a single HDR image. We operate multiple denoising processes to generate multiple LDR brackets that together form a valid HDR result. The key to making this work is to introduce a consistency term into the diffusion process to couple the brackets such that they agree across the exposure range they share while accounting for possible differences due to the quantization error. We demonstrate state-of-the-art unconditional and conditional or restoration-type (LDR2HDR) generative modeling results, yet in HDR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google