Materialist: Physically Based Editing Using Single-Image Inverse Rendering

要約

シングルビューの逆物理ベース レンダリングに基づいて画像編集を実行するために、学習ベースのアプローチと漸進的微分可能レンダリングを組み合わせた方法を提案します。
画像が与えられると、私たちの方法ではニューラル ネットワークを利用して初期の材料特性を予測します。
次に、漸進的微分可能レンダリングを使用して環境マップを最適化し、レンダリング結果を入力イメージに厳密に一致させることを目的としてマテリアルのプロパティを調整します。
レンダリング方程式に基づく他の逆レンダリング方法では複数のビューが必要ですが、必要な画像は 1 つだけです。
ニューラル レンダラーに依存するシングルビュー手法と比較して、私たちのアプローチは、より現実的なライト マテリアルの相互作用、正確なシャドウ、グローバル イルミネーションを実現します。
さらに、最適化されたマテリアル特性と照明により、私たちの方法は物理ベースのマテリアル編集、オブジェクトの挿入、再ライティングなどのさまざまなタスクを可能にします。
また、完全なシーン ジオメトリを必要とせずに効果的に動作するマテリアル透明度編集の方法も提案します。
安定拡散に基づく方法と比較して、私たちのアプローチはより強力な解釈可能性と経験的結果に基づいたより現実的な光の屈折を提供します。

要約(オリジナル)

To perform image editing based on single-view, inverse physically based rendering, we present a method combining a learning-based approach with progressive differentiable rendering. Given an image, our method leverages neural networks to predict initial material properties. Progressive differentiable rendering is then used to optimize the environment map and refine the material properties with the goal of closely matching the rendered result to the input image. We require only a single image while other inverse rendering methods based on the rendering equation require multiple views. In comparison to single-view methods that rely on neural renderers, our approach achieves more realistic light material interactions, accurate shadows, and global illumination. Furthermore, with optimized material properties and illumination, our method enables a variety of tasks, including physically based material editing, object insertion, and relighting. We also propose a method for material transparency editing that operates effectively without requiring full scene geometry. Compared with methods based on Stable Diffusion, our approach offers stronger interpretability and more realistic light refraction based on empirical results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google