High Dynamic Range Novel View Synthesis with Single Exposure

要約

ハイダイナミックレンジ・ノベルビュー合成（HDR-NVS）は、ローダイナミックレンジ（LDR）画像から3DシーンのHDRモデルを確立することを目的としている。通常、1枚のLDR画像では最も明るい領域と最も暗い領域の両方を同時に表現することができないため、シーン内のより広い範囲の輝度レベルをキャプチャするために複数露光のLDR画像が採用される。効果的ではあるが、この多重露光HDR-NVSアプローチには、モーションアーチファクト（例えば、ゴーストやぼかし）の影響を受けやすいこと、高いキャプチャコストとストレージコストなど、大きな限界がある。これらの課題を克服するために、我々は初めて単一露光HDR-NVS問題を導入する。さらに、LDR画像形成の原理に基づいて定式化された2つの専用モジュール、1つはLDR色をHDR色に変換するモジュール、もう1つはHDR画像をLDR形式に変換するモジュールであり、教師なし学習が閉ループで可能になるような、新しいアプローチMono-HDR-3Dを紹介する。メタアルゴリズムとして設計された我々のアプローチは、既存のNVSモデルとシームレスに統合することができる。広範な実験により、Mono-HDR-3Dが従来の手法を大幅に上回ることが示されている。ソースコードは公開予定です。

要約(オリジナル)

High Dynamic Range Novel View Synthesis (HDR-NVS) aims to establish a 3D scene HDR model from Low Dynamic Range (LDR) imagery. Typically, multiple-exposure LDR images are employed to capture a wider range of brightness levels in a scene, as a single LDR image cannot represent both the brightest and darkest regions simultaneously. While effective, this multiple-exposure HDR-NVS approach has significant limitations, including susceptibility to motion artifacts (e.g., ghosting and blurring), high capture and storage costs. To overcome these challenges, we introduce, for the first time, the single-exposure HDR-NVS problem, where only single exposure LDR images are available during training. We further introduce a novel approach, Mono-HDR-3D, featuring two dedicated modules formulated by the LDR image formation principles, one for converting LDR colors to HDR counterparts, and the other for transforming HDR images to LDR format so that unsupervised learning is enabled in a closed loop. Designed as a meta-algorithm, our approach can be seamlessly integrated with existing NVS models. Extensive experiments show that Mono-HDR-3D significantly outperforms previous methods. Source code will be released.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL