HDR-NeRF: High Dynamic Range Neural Radiance Fields

要約

タイトル：HDR-NeRF: High Dynamic Range Neural Radiance Fields
要約：

– HDR-NeRFは、異なる露光度を持つ低ダイナミックレンジ（LDR）ビューのセットから、HDR輝度場を回復するための手法である。
– HDR-NeRFを使用すると、異なる露出下で新しいHDRビューと新しいLDRビューの両方を生成できる。
– 私たちの手法の鍵は、物理的な撮影プロセスをモデル化することであり、これには輝度場とトーンマッパーの2つの暗黙の関数が含まれる。
– 輝度場は、場所によって輝度が異なり、放射輝度が0から+∞の値を持つことを表現する。
– トーンマッパーは、カメラセンサーに衝突する光線がピクセル値に変換される過程をモデル化する。光線の色は、放射輝度と対応する露出時間をトーンマッパーに与えて予測される。
– 我々は、入力のLDR画像のみを監視データとして使用し、出力された輝度、色、密度をHDRおよびLDR画像に投影するために古典的なボリュームレンダリング技術を使用する。
– 提案手法を評価するために、新しい前向きHDRデータセットを収集し、合成ビューの露光を正確に制御できるだけでなく、高ダイナミックレンジのビューをレンダリングできることが実験的に示された。

要約(オリジナル)

We present High Dynamic Range Neural Radiance Fields (HDR-NeRF) to recover an HDR radiance field from a set of low dynamic range (LDR) views with different exposures. Using the HDR-NeRF, we are able to generate both novel HDR views and novel LDR views under different exposures. The key to our method is to model the physical imaging process, which dictates that the radiance of a scene point transforms to a pixel value in the LDR image with two implicit functions: a radiance field and a tone mapper. The radiance field encodes the scene radiance (values vary from 0 to +infty), which outputs the density and radiance of a ray by giving corresponding ray origin and ray direction. The tone mapper models the mapping process that a ray hitting on the camera sensor becomes a pixel value. The color of the ray is predicted by feeding the radiance and the corresponding exposure time into the tone mapper. We use the classic volume rendering technique to project the output radiance, colors, and densities into HDR and LDR images, while only the input LDR images are used as the supervision. We collect a new forward-facing HDR dataset to evaluate the proposed method. Experimental results on synthetic and real-world scenes validate that our method can not only accurately control the exposures of synthesized views but also render views with a high dynamic range.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI