UltraFusion: Ultra High Dynamic Imaging using Exposure Fusion

要約

ハイダイナミックレンジ（HDR）シーンのキャプチャは、カメラのデザインで最も重要な問題の1つです。
カメラの大部分は、さまざまな暴露レベルでキャプチャされた画像を融合してダイナミックレンジを増加させる露出融合を使用します。
ただし、このアプローチは、露出の違いが限られている画像のみを処理できます。通常は3〜4停止します。
大きな露出の違いが必要な非常に高いダイナミックレンジシーンに適用する場合、このアプローチは、入力間の誤ったアライメントまたは一貫性のない照明、またはトーンマッピングアーティファクトのために失敗することがよくあります。
この作業では、入力を9つの停止の違いとマージできる最初の露出融合技術である\モデルを提案します。
重要なアイデアは、曝露融合をガイド付きの入力問題としてモデル化することです。ここでは、過度に暴露されたイメージが、過度に露出された領域の過度に露出されたハイライトの欠落情報を入力するためのガイダンスとして使用されます。
拡大していない画像をソフトガイダンスとして使用して、ハード制約の代わりに、モデルは潜在的なアライメントの問題または照明のバリエーションに対して堅牢です。
さらに、生成モデルの前の画像を利用することにより、私たちのモデルは、非常にダイナミック範囲のシーンであっても、自然なトーンマッピングも生成します。
私たちのアプローチは、最新のHDRベンチマークでHDRトランスフォーカーよりも優れています。
さらに、超高ダイナミックレンジシーンでのパフォーマンスをテストするために、新しい現実世界の露出融合ベンチマーク、超蛍光データセットをキャプチャし、露出の違いが最大9停止し、実験では、超灌流がさまざまなシナリオで美しく高品質の融合結果を生成できることが示されています。
コードとデータは、https：//openimaginglab.github.io/ultrafusionで入手できます。

要約(オリジナル)

Capturing high dynamic range (HDR) scenes is one of the most important issues in camera design. Majority of cameras use exposure fusion, which fuses images captured by different exposure levels, to increase dynamic range. However, this approach can only handle images with limited exposure difference, normally 3-4 stops. When applying to very high dynamic range scenes where a large exposure difference is required, this approach often fails due to incorrect alignment or inconsistent lighting between inputs, or tone mapping artifacts. In this work, we propose \model, the first exposure fusion technique that can merge inputs with 9 stops differences. The key idea is that we model exposure fusion as a guided inpainting problem, where the under-exposed image is used as a guidance to fill the missing information of over-exposed highlights in the over-exposed region. Using an under-exposed image as a soft guidance, instead of a hard constraint, our model is robust to potential alignment issue or lighting variations. Moreover, by utilizing the image prior of the generative model, our model also generates natural tone mapping, even for very high-dynamic range scenes. Our approach outperforms HDR-Transformer on latest HDR benchmarks. Moreover, to test its performance in ultra high dynamic range scenes, we capture a new real-world exposure fusion benchmark, UltraFusion dataset, with exposure differences up to 9 stops, and experiments show that UltraFusion can generate beautiful and high-quality fusion results under various scenarios. Code and data will be available at https://openimaginglab.github.io/UltraFusion.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google