Fast High Dynamic Range Radiance Fields for Dynamic Scenes

要約

Neural Radiances Fields (NeRF) とその拡張機能は、3D シーンの表現と新しい視点の画像の合成において大きな成功を収めています。
ただし、ほとんどの NeRF メソッドはロー ダイナミック レンジ (LDR) 画像を取り込むため、特に不均一な照明では細部が失われる可能性があります。
以前の NeRF 手法の中には、ハイ ダイナミック レンジ (HDR) 手法の導入を試みるものもありますが、主に静的なシーンを対象としています。
HDR NeRF 手法をより幅広いアプリケーションに拡張するために、さまざまな露出でキャプチャされた動的な 2D 画像から 3D シーンを学習できる、HDR-HexPlane という名前の動的な HDR NeRF フレームワークを提案します。
各画像の適応露出値を取得するために、学習可能な露出マッピング関数が構築されています。
単調増加事前分布に基づいて、安定した学習を行うためにカメラ応答関数が設計されています。
提案されたモデルを使用すると、任意の時点での高品質の新規ビュー画像を任意の露出でレンダリングできます。
さらに、評価のためにさまざまな露出で撮影された複数の動的シーンを含むデータセットを構築します。
すべてのデータセットとコードは \url{https://guanjunwu.github.io/HDR-HexPlane/} で入手できます。

要約(オリジナル)

Neural Radiances Fields (NeRF) and their extensions have shown great success in representing 3D scenes and synthesizing novel-view images. However, most NeRF methods take in low-dynamic-range (LDR) images, which may lose details, especially with nonuniform illumination. Some previous NeRF methods attempt to introduce high-dynamic-range (HDR) techniques but mainly target static scenes. To extend HDR NeRF methods to wider applications, we propose a dynamic HDR NeRF framework, named HDR-HexPlane, which can learn 3D scenes from dynamic 2D images captured with various exposures. A learnable exposure mapping function is constructed to obtain adaptive exposure values for each image. Based on the monotonically increasing prior, a camera response function is designed for stable learning. With the proposed model, high-quality novel-view images at any time point can be rendered with any desired exposure. We further construct a dataset containing multiple dynamic scenes captured with diverse exposures for evaluation. All the datasets and code are available at \url{https://guanjunwu.github.io/HDR-HexPlane/}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google