DiffusionRenderer: Neural Inverse and Forward Rendering with Video Diffusion Models

要約

照明効果の理解とモデリングは、コンピュータービジョンとグラフィックスの基本的なタスクです。
古典的な物理ベースのレンダリング（PBR）は、光輸送を正確にシミュレートしますが、実際のシナリオで取得するために非実用的であることが多い、明示的な3Dジオメトリ、高品質の材料特性、および照明条件 – 正確なシーン表現に依存しています。
したがって、diffusionrendererを紹介します。これは、全体的な枠組み内で逆および前方レンダリングの二重の問題に対処する神経アプローチです。
強力なビデオ拡散モデルのプライアーを活用すると、逆レンダリングモデルは、実際のビデオからGバッファーを正確に推定し、画像編集タスクのインターフェイスを提供し、レンダリングモデルのトレーニングデータを提供します。
逆に、私たちのレンダリングモデルは、明示的な光輸送シミュレーションなしでGバッファーからフォトリアリスティックな画像を生成します。
実験は、拡散レンダーが逆方向と前向きのレンダリングを効果的に近似し、一貫して最先端を上回ることを示しています。
私たちのモデルは、学習、材料編集、現実的なオブジェクトの挿入を含む、単一のビデオ入力からの実用的なアプリケーションを可能にします。

要約(オリジナル)

Understanding and modeling lighting effects are fundamental tasks in computer vision and graphics. Classic physically-based rendering (PBR) accurately simulates the light transport, but relies on precise scene representations–explicit 3D geometry, high-quality material properties, and lighting conditions–that are often impractical to obtain in real-world scenarios. Therefore, we introduce DiffusionRenderer, a neural approach that addresses the dual problem of inverse and forward rendering within a holistic framework. Leveraging powerful video diffusion model priors, the inverse rendering model accurately estimates G-buffers from real-world videos, providing an interface for image editing tasks, and training data for the rendering model. Conversely, our rendering model generates photorealistic images from G-buffers without explicit light transport simulation. Experiments demonstrate that DiffusionRenderer effectively approximates inverse and forwards rendering, consistently outperforming the state-of-the-art. Our model enables practical applications from a single video input–including relighting, material editing, and realistic object insertion.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google