Multi-view Inverse Rendering for Large-scale Real-world Indoor Scenes

要約

グローバル イルミネーションと物理的に合理的な SVBRDF を再構築する、大規模な実世界の屋内シーン用のマルチビュー逆レンダリング方法を提示します。
大規模なシーンのグローバル イルミネーションが複数の環境マップとして単純化される以前の表現とは異なり、Texture-based Lighting (TBL) と呼ばれるコンパクトな表現を提案します。
3D メッシュと HDR テクスチャで構成され、大きなシーン全体の直接照明と無限バウンス間接照明を効率的にモデル化します。
TBLに基づいて、事前計算された放射照度を使用したハイブリッド照明表現をさらに提案します。これにより、効率が大幅に向上し、マテリアル最適化のレンダリングノイズが軽減されます。
材料間のあいまいさを物理的に解きほぐすために、セマンティック セグメンテーションと部屋セグメンテーションの事前確率に基づく 3 段階の材料最適化戦略を提案します。
広範な実験により、提案された方法が最先端技術よりも定量的および定性的に優れており、マテリアル編集、編集可能な新規ビュー合成、再照明などの物理的に合理的な混合現実アプリケーションが可能になることが示されています。
プロジェクト ページは https://lzleejean.github.io/IRTex にあります。

要約(オリジナル)

We present a multi-view inverse rendering method for large-scale real-world indoor scenes that reconstructs global illumination and physically-reasonable SVBRDFs. Unlike previous representations, where the global illumination of large scenes is simplified as multiple environment maps, we propose a compact representation called Texture-based Lighting (TBL). It consists of 3D meshs and HDR textures, and efficiently models direct and infinite-bounce indirect lighting of the entire large scene. Based on TBL, we further propose a hybrid lighting representation with precomputed irradiance, which significantly improves the efficiency and alleviate the rendering noise in the material optimization. To physically disentangle the ambiguity between materials, we propose a three-stage material optimization strategy based on the priors of semantic segmentation and room segmentation. Extensive experiments show that the proposed method outperforms the state-of-the-arts quantitatively and qualitatively, and enables physically-reasonable mixed-reality applications such as material editing, editable novel view synthesis and relighting. The project page is at https://lzleejean.github.io/IRTex.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google