Uni-Renderer: Unifying Rendering and Inverse Rendering Via Dual Stream Diffusion

要約

レンダリングと逆レンダリングは、コンピュータ ビジョンとグラフィックスの両方において極めて重要なタスクです。
レンダリング方程式は、固有のプロパティから RGB イメージへの理想的な条件付き分布伝達関数として、2 つのタスクの中核です。
既存のレンダリング方法は有望な結果を達成していますが、特定のシーンの理想的な推定を近似しているだけであり、高い計算コストが伴います。
さらに、逆条件付き分配転送は、固有のあいまいさのため扱いが困難です。
これらの課題に対処するために、単一の拡散フレームワーク内の 2 つの条件付き生成タスクとしてレンダリングと逆レンダリングを共同でモデル化するデータ駆動型の方法を提案します。
UniDiffuser からインスピレーションを得て、2 つの異なるタイム スケジュールを利用して両方のタスクをモデル化し、調整されたデュアル ストリーミング モジュールを使用して、2 つの事前トレーニングされた拡散モデルのクロスコンディショニングを実現します。
Uni-Renderer と呼ばれるこの統合アプローチにより、サイクル一貫性のある制約を通じて 2 つのプロセスが相互に促進し、固有のプロパティとレンダリングされたイメージの間の一貫性を強制することであいまいさを軽減できます。
細心の注意を払って準備されたデータセットと組み合わせることで、私たちの方法は固有のプロパティを効果的に分解し、レンダリング中の変更を認識する強力な機能を実証します。
私たちはトレーニング コードと推論コードをオープンソースで一般に公開し、この分野でのさらなる研究開発を促進します。

要約(オリジナル)

Rendering and inverse rendering are pivotal tasks in both computer vision and graphics. The rendering equation is the core of the two tasks, as an ideal conditional distribution transfer function from intrinsic properties to RGB images. Despite achieving promising results of existing rendering methods, they merely approximate the ideal estimation for a specific scene and come with a high computational cost. Additionally, the inverse conditional distribution transfer is intractable due to the inherent ambiguity. To address these challenges, we propose a data-driven method that jointly models rendering and inverse rendering as two conditional generation tasks within a single diffusion framework. Inspired by UniDiffuser, we utilize two distinct time schedules to model both tasks, and with a tailored dual streaming module, we achieve cross-conditioning of two pre-trained diffusion models. This unified approach, named Uni-Renderer, allows the two processes to facilitate each other through a cycle-consistent constrain, mitigating ambiguity by enforcing consistency between intrinsic properties and rendered images. Combined with a meticulously prepared dataset, our method effectively decomposition of intrinsic properties and demonstrates a strong capability to recognize changes during rendering. We will open-source our training and inference code to the public, fostering further research and development in this area.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google