Spatiotemporally Consistent HDR Indoor Lighting Estimation

要約

タイトル：宇宙時間的に一致したHDR屋内照明推定
要約：

– 屋内照明推定問題を解決するための物理的な動機付けをされた深層学習フレームワークを提案
– 単一のLDRイメージと深度マップが与えられた場合、任意のイメージ位置において空間的に一致した照明を予測する方法を提案
– 入力がLDRビデオシーケンスである場合、フレームワークは地域を見るにつれて照明予測を進歩的に改善し、また改善を滑らかに保つことで、時間の一致性を維持する。
– スフィアガウス照明ボリューム（SGLV）を専用の3Dエンコーダーデコーダを介して再構築し、ボリュームレイトレーシングを介して空間的に一致した照明予測を実現し、詳細な環境地図用のハイブリッドブレンディングネットワーク、ネットワーク内モンテカルロレンダリング層を備えた仮想オブジェクト挿入のフォトリアズムを高めるための再帰ニューラルネットワーク（RNN）を実現
– 訓練には、GPUベースのパストレーシングでレンダリングされた、解像度がはるかに高い約36万のHDR環境マップと38,000のビデオシーケンスを備えた、フォトリアリスティックなシンセティック屋内シーンのOpenRooms公開データセットを大幅に拡張
– 実験結果により、提案されたフレームワークは、最新の単一イメージまたはビデオベースの手法と比較して、より高品質な照明予測を実現し、オブジェクト挿入などのフォトリアリスティックなARアプリケーションにつながる。

要約(オリジナル)

We propose a physically-motivated deep learning framework to solve a general version of the challenging indoor lighting estimation problem. Given a single LDR image with a depth map, our method predicts spatially consistent lighting at any given image position. Particularly, when the input is an LDR video sequence, our framework not only progressively refines the lighting prediction as it sees more regions, but also preserves temporal consistency by keeping the refinement smooth. Our framework reconstructs a spherical Gaussian lighting volume (SGLV) through a tailored 3D encoder-decoder, which enables spatially consistent lighting prediction through volume ray tracing, a hybrid blending network for detailed environment maps, an in-network Monte-Carlo rendering layer to enhance photorealism for virtual object insertion, and recurrent neural networks (RNN) to achieve temporally consistent lighting prediction with a video sequence as the input. For training, we significantly enhance the OpenRooms public dataset of photorealistic synthetic indoor scenes with around 360K HDR environment maps of much higher resolution and 38K video sequences, rendered with GPU-based path tracing. Experiments show that our framework achieves lighting prediction with higher quality compared to state-of-the-art single-image or video-based methods, leading to photorealistic AR applications such as object insertion.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI