NDJIR: Neural Direct and Joint Inverse Rendering for Geometry, Lights, and Materials of Real Object

要約

逆レンダリングの目的は、与えられたポーズ マルチビュー イメージのジオメトリ、ライト、およびマテリアルを分解することです。
この目標を達成するために、ニューラル ダイレクトおよびジョイント インバース レンダリング、NDJIR を提案します。
レンダリング方程式のいくつかの近似に依存する以前の作品とは異なり、NDJIR はレンダリング方程式の積分に直接対処し、ジオメトリを共同で分解します: 符号付き距離関数、ライト: 環境ライトと間接ライト、マテリアル: ベース カラー、粗さ、鏡面反射率
強力で柔軟なボリューム レンダリング フレームワーク、ボクセル グリッド機能、事前ベイジアン。
私たちの方法は、物理ベースのレンダリングを直接使用するため、マテリアルを含む抽出されたメッシュを DCC ツールにシームレスにエクスポートし、マテリアル変換の例を示すことができます。
徹底的な実験を行って、提案された方法が写真測量設定で実際のオブジェクトに対して意味的にうまく分解できること、および正確な逆レンダリングにどのような要因が寄与するかを示します。

要約(オリジナル)

The goal of inverse rendering is to decompose geometry, lights, and materials given pose multi-view images. To achieve this goal, we propose neural direct and joint inverse rendering, NDJIR. Different from prior works which relies on some approximations of the rendering equation, NDJIR directly addresses the integrals in the rendering equation and jointly decomposes geometry: signed distance function, lights: environment and implicit lights, materials: base color, roughness, specular reflectance using the powerful and flexible volume rendering framework, voxel grid feature, and Bayesian prior. Our method directly uses the physically-based rendering, so we can seamlessly export an extracted mesh with materials to DCC tools and show material conversion examples. We perform intensive experiments to show that our proposed method can decompose semantically well for real object in photogrammetric setting and what factors contribute towards accurate inverse rendering.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google