Shape, Light & Material Decomposition from Images using Monte Carlo Rendering and Denoising

要約

近年の微分可能なレンダリングの進歩により、マルチビュー画像から3Dシーンを高品質に再構成することが可能になった。ほとんどの方法は、事前にフィルタリングされた直接照明や放射照度の学習された表現など、単純なレンダリングアルゴリズムに依存しています。我々は、レイトレーシングとモンテカルロ積分を組み込んだ、より現実的なシェーディングモデルが、形状、材料、照明への分解を大幅に改善することを示す。残念ながら、モンテカルロ積分は、サンプル数が多い場合でも、大きなノイズを含む推定値を提供するため、勾配ベースの逆レンダリングは非常に困難です。そこで私たちは、多重重要度サンプリングとノイズ除去を組み合わせた新しいインバースレンダリングパイプラインを開発しました。これにより、収束性が大幅に改善され、少ないサンプル数で勾配に基づく最適化が可能になる。我々は、ジオメトリ（明示的な三角メッシュ）、マテリアル、ライティングを共同で再構成する効率的な方法を提示し、マテリアルと光の分離を従来のものと比べて大幅に改善することができた。我々は、ノイズ除去が高品質な逆レンダリングパイプラインの不可欠な要素になりうると主張する。

要約(オリジナル)

Recent advances in differentiable rendering have enabled high-quality reconstruction of 3D scenes from multi-view images. Most methods rely on simple rendering algorithms: pre-filtered direct lighting or learned representations of irradiance. We show that a more realistic shading model, incorporating ray tracing and Monte Carlo integration, substantially improves decomposition into shape, materials & lighting. Unfortunately, Monte Carlo integration provides estimates with significant noise, even at large sample counts, which makes gradient-based inverse rendering very challenging. To address this, we incorporate multiple importance sampling and denoising in a novel inverse rendering pipeline. This substantially improves convergence and enables gradient-based optimization at low sample counts. We present an efficient method to jointly reconstruct geometry (explicit triangle meshes), materials, and lighting, which substantially improves material and light separation compared to previous work. We argue that denoising can become an integral part of high quality inverse rendering pipelines.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL