Neural Inverse Rendering from Propagating Light

要約

伝播光のマルチビューポイントビデオから物理的に基づいた神経逆レンダリングのための最初のシステムを提示します。
私たちのアプローチは、神経放射輝度キャッシングの時間分解拡張に依存しています。これは、あらゆる方向から任意のポイントに到着する無限の輝きを保存することによって逆レンダリングを加速する手法です。
結果のモデルは、直接的および間接的な光輸送効果を正確に説明し、フラッシュライダーシステムからのキャプチャされた測定に適用されると、強い間接光が存在する場合に最先端の3D再構成を可能にします。
さらに、キャプチャされた測定値の直接的および間接的なコンポーネントへの伝播の自動分解、およびキャプチャされたシーンのマルチビューの時間分解再生などの新しい機能を示すことを示します。

要約(オリジナル)

We present the first system for physically based, neural inverse rendering from multi-viewpoint videos of propagating light. Our approach relies on a time-resolved extension of neural radiance caching — a technique that accelerates inverse rendering by storing infinite-bounce radiance arriving at any point from any direction. The resulting model accurately accounts for direct and indirect light transport effects and, when applied to captured measurements from a flash lidar system, enables state-of-the-art 3D reconstruction in the presence of strong indirect light. Further, we demonstrate view synthesis of propagating light, automatic decomposition of captured measurements into direct and indirect components, as well as novel capabilities such as multi-view time-resolved relighting of captured scenes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google