Physics-based Indirect Illumination for Inverse Rendering

要約

我々は、ポーズされたマルチビューRGB画像からシーンの照明、ジオメトリ、マテリアルを学習する、物理ベースの逆レンダリング手法を提案する。シーンの照明をモデル化するために、既存のインバースレンダリング手法は、間接照明を完全に無視するか、粗い近似によってモデル化する。この研究では、物理ベースの照明モデルを提案し、まず効率的な洗練された球トレースアルゴリズムによってサーフェスポイントを特定し、次に反射に基づいて各サーフェスポイントに入射する間接光を明示的にトレースする。次に、同定された各間接光を効率的なニューラルネットワークを通して推定する。さらに、ライプニッツの積分則を利用し、コンピュータグラフィックスにおける微分可能な放射照度から着想を得た、境界光に起因する提案照明モデルにおける非微分可能性を解決する。その結果、提案する微分可能な照明モデルは、ジオメトリとマテリアルの推定とともにエンドツーエンドで学習することができる。副産物として、我々の物理ベースの逆レンダリングモデルは、リライティングだけでなく、柔軟で現実的なマテリアル編集も容易にする。合成データセットと実世界データセットを用いた広範な実験により、提案手法が、新しいビュー合成と逆レンダリングにおいて、既存の逆レンダリング手法に対して良好な性能を示すことが実証された。

要約(オリジナル)

We present a physics-based inverse rendering method that learns the illumination, geometry, and materials of a scene from posed multi-view RGB images. To model the illumination of a scene, existing inverse rendering works either completely ignore the indirect illumination or model it by coarse approximations, leading to sub-optimal illumination, geometry, and material prediction of the scene. In this work, we propose a physics-based illumination model that first locates surface points through an efficient refined sphere tracing algorithm, then explicitly traces the incoming indirect lights at each surface point based on reflection. Then, we estimate each identified indirect light through an efficient neural network. Moreover, we utilize the Leibniz’s integral rule to resolve non-differentiability in the proposed illumination model caused by boundary lights inspired by differentiable irradiance in computer graphics. As a result, the proposed differentiable illumination model can be learned end-to-end together with geometry and materials estimation. As a side product, our physics-based inverse rendering model also facilitates flexible and realistic material editing as well as relighting. Extensive experiments on synthetic and real-world datasets demonstrate that the proposed method performs favorably against existing inverse rendering methods on novel view synthesis and inverse rendering.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL