Beyond Reconstruction: A Physics Based Neural Deferred Shader for Photo-realistic Rendering

要約

ディープラーニングベースのレンダリングは、映画の視覚効果やビデオゲームの写真と現実的なシーンの構築など、さまざまなアプリケーションに適用される写真と現実的な画像合成の大幅な改善を実証しています。
ただし、重要な制限は、これらのパラメーターを制御することなく、照明と材料パラメーターを分解するのが難しいことです。
このペーパーでは、データ駆動型のレンダリングプロセスを分解し、シェーディングと再照明タスクの写真と現実的な結果を生成するための一般化可能なシェーディング関数を学習するために、新しい物理学ベースのニューラル延期シェーディングパイプラインを紹介します。
私たちのモデルは、古典的なモデルや最先端の​​ニューラルシェーディングモデルと比較してパフォーマンスの向上を実現し、任意の照明入力から一般化可能な写真リアリックなシェーディングを可能にします。

要約(オリジナル)

Deep learning based rendering has demonstrated major improvements for photo-realistic image synthesis, applicable to various applications including visual effects in movies and photo-realistic scene building in video games. However, a significant limitation is the difficulty of decomposing the illumination and material parameters, which limits such methods to reconstruct an input scene, without any possibility to control these parameters. This paper introduces a novel physics based neural deferred shading pipeline to decompose the data-driven rendering process, learn a generalizable shading function to produce photo-realistic results for shading and relighting tasks, we also provide a shadow estimator to efficiently mimic shadowing effect. Our model achieves improved performance compared to classical models and a state-of-art neural shading model, and enables generalizable photo-realistic shading from arbitrary illumination input.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google