Uni-Renderer: Unifying Rendering and Inverse Rendering Via Dual Stream Diffusion

要約

レンダリングと逆レンダリングは、コンピュータービジョンとグラフィックスの両方で極めて重要なタスクです。
レンダリング方程式は、本質的な特性からRGB画像への理想的な条件分布伝達関数として、2つのタスクの中核です。
既存のレンダリング方法の有望な結果を達成したにもかかわらず、それらは特定のシーンの理想的な推定に近いだけで、高い計算コストを伴います。
さらに、固有のあいまいさのために、逆条件分布移動は扱いにくいです。
これらの課題に対処するために、単一の拡散フレームワーク内の2つの条件付き生成タスクとしてレンダリングと逆レンダリングを共同でモデル化するデータ駆動型の方法を提案します。
Unidiffuserに触発されて、2つの異なる時間スケジュールを使用して両方のタスクをモデル化し、テーラードデュアルストリーミングモジュールを使用して、2つの事前に訓練された拡散モデルの相互条件を実現します。
Uniレンダラーという名前のこの統一されたアプローチにより、2つのプロセスがサイクル一貫性のある制約を通じて互いに促進し、固有の特性とレンダリングされた画像間の一貫性を強制することにより曖昧さを軽減できます。
細心の注意を払って準備されたデータセットと組み合わせることで、本質的な特性を効果的に分解し、レンダリング中の変化を認識する強力な能力を実証します。
トレーニングと推論コードを一般に公開し、この分野でのさらなる研究開発を促進します。

要約(オリジナル)

Rendering and inverse rendering are pivotal tasks in both computer vision and graphics. The rendering equation is the core of the two tasks, as an ideal conditional distribution transfer function from intrinsic properties to RGB images. Despite achieving promising results of existing rendering methods, they merely approximate the ideal estimation for a specific scene and come with a high computational cost. Additionally, the inverse conditional distribution transfer is intractable due to the inherent ambiguity. To address these challenges, we propose a data-driven method that jointly models rendering and inverse rendering as two conditional generation tasks within a single diffusion framework. Inspired by UniDiffuser, we utilize two distinct time schedules to model both tasks, and with a tailored dual streaming module, we achieve cross-conditioning of two pre-trained diffusion models. This unified approach, named Uni-Renderer, allows the two processes to facilitate each other through a cycle-consistent constrain, mitigating ambiguity by enforcing consistency between intrinsic properties and rendered images. Combined with a meticulously prepared dataset, our method effectively decomposition of intrinsic properties and demonstrates a strong capability to recognize changes during rendering. We will open-source our training and inference code to the public, fostering further research and development in this area.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google