Light Transport-aware Diffusion Posterior Sampling for Single-View Reconstruction of 3D Volumes

要約

雲の中など、複数の光散乱効果が遍在する体積フィールドの単一ビュー再構成手法を紹介します。
合成的にシミュレートされた 1,000 個の体積密度場で構成される新しいベンチマーク データセットでトレーニングされた無条件拡散モデルを使用して、体積場の未知の分布をモデル化します。
神経拡散モデルは、新規で拡散に適した単平面表現の潜在コードに基づいてトレーニングされます。
生成モデルは、調整されたパラメトリック拡散事後サンプリング技術をさまざまな再構成タスクに組み込むために使用されます。
物理ベースの微分可能なボリューム レンダラーを使用して、潜在空間内の光輸送に関する勾配を提供します。
これは古典的な NeRF アプローチとは対照的であり、再構成が観察されたデータとよりよく一致します。
さまざまな実験を通じて、これまで達成できなかった品質でのボリューム雲の単一ビュー再構成を実証します。

要約(オリジナル)

We introduce a single-view reconstruction technique of volumetric fields in which multiple light scattering effects are omnipresent, such as in clouds. We model the unknown distribution of volumetric fields using an unconditional diffusion model trained on a novel benchmark dataset comprising 1,000 synthetically simulated volumetric density fields. The neural diffusion model is trained on the latent codes of a novel, diffusion-friendly, monoplanar representation. The generative model is used to incorporate a tailored parametric diffusion posterior sampling technique into different reconstruction tasks. A physically-based differentiable volume renderer is employed to provide gradients with respect to light transport in the latent space. This stands in contrast to classic NeRF approaches and makes the reconstructions better aligned with observed data. Through various experiments, we demonstrate single-view reconstruction of volumetric clouds at a previously unattainable quality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google