I$^2$-SDF: Intrinsic Indoor Scene Reconstruction and Editing via Raytracing in Neural SDFs

要約

この作業では、I$^2$-SDF を紹介します。これは、ニューラル符号付き距離場 (SDF) で微分可能なモンテカルロ レイトレーシングを使用して、固有の屋内シーンの再構成と編集を行うための新しい方法です。
私たちの総合的なニューラル SDF ベースのフレームワークは、マルチビュー画像から基本的な形状、入射放射輝度、および材料を共同で回復します。
大規模な屋内シーンでの再構成品質を大幅に改善するために、細粒度の小さなオブジェクトとエラーガイド適応サンプリングスキームの新しいバブル損失を導入します。
さらに、表面ベースの微分可能なモンテカルロ レイトレーシングとエミッタ セマンティック セグメンテーションを通じて、ニューラル ラディアンス フィールドをシーンの空間的に変化するマテリアルに分解することを提案します。これにより、物理ベースでフォトリアリスティックなシーンのリライティングと編集アプリケーションが可能になります。
多くの定性的および定量的実験を通じて、最先端のベースラインと比較して、屋内シーンの再構成、新しいビューの合成、およびシーンの編集に関する方法の優れた品質を実証します。

要約(オリジナル)

In this work, we present I$^2$-SDF, a new method for intrinsic indoor scene reconstruction and editing using differentiable Monte Carlo raytracing on neural signed distance fields (SDFs). Our holistic neural SDF-based framework jointly recovers the underlying shapes, incident radiance and materials from multi-view images. We introduce a novel bubble loss for fine-grained small objects and error-guided adaptive sampling scheme to largely improve the reconstruction quality on large-scale indoor scenes. Further, we propose to decompose the neural radiance field into spatially-varying material of the scene as a neural field through surface-based, differentiable Monte Carlo raytracing and emitter semantic segmentations, which enables physically based and photorealistic scene relighting and editing applications. Through a number of qualitative and quantitative experiments, we demonstrate the superior quality of our method on indoor scene reconstruction, novel view synthesis, and scene editing compared to state-of-the-art baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google