Casual Indoor HDR Radiance Capture from Omnidirectional Images

要約

屋内シーンのフル HDR 放射輝度フィールドのニューラル表現である PanoHDR-NeRF と、精巧なセットアップや複雑なキャプチャ プロトコルなしで気軽にキャプチャするためのパイプラインを紹介します。
まず、ユーザーはシーンの周りで既製のカメラを自由に振ることによって、シーンのロー ダイナミック レンジ (LDR) 全方向ビデオをキャプチャします。
次に、LDR2HDR ネットワークがキャプチャされた LDR フレームを HDR にアップリフトします。これは、調整された NeRF++ モデルのトレーニングに使用されます。
結果として得られる PanoHDR-NeRF は、シーンの任意の場所からフル HDR 画像をレンダリングできます。
トレーニング中に見られなかった場所でキャプチャされたグラウンド トゥルース HDR 放射輝度を使用した実際のシーンの新しいテスト データセットでの実験を通じて、PanoHDR-NeRF が任意のシーン ポイントからのもっともらしい HDR 放射輝度を予測することを示します。
また、予測された放射輝度が正しい照明効果を合成できることも示しており、正しく照明された合成オブジェクトを使用して屋内シーンを拡張できます。
データセットとコードは、https://lvsn.github.io/PanoHDR-NeRF/ で入手できます。

要約(オリジナル)

We present PanoHDR-NeRF, a neural representation of the full HDR radiance field of an indoor scene, and a pipeline to capture it casually, without elaborate setups or complex capture protocols. First, a user captures a low dynamic range (LDR) omnidirectional video of the scene by freely waving an off-the-shelf camera around the scene. Then, an LDR2HDR network uplifts the captured LDR frames to HDR, which are used to train a tailored NeRF++ model. The resulting PanoHDR-NeRF can render full HDR images from any location of the scene. Through experiments on a novel test dataset of real scenes with the ground truth HDR radiance captured at locations not seen during training, we show that PanoHDR-NeRF predicts plausible HDR radiance from any scene point. We also show that the predicted radiance can synthesize correct lighting effects, enabling the augmentation of indoor scenes with synthetic objects that are lit correctly. Datasets and code are available at https://lvsn.github.io/PanoHDR-NeRF/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google