Neural Radiance Transfer Fields for Relightable Novel-view Synthesis with Global Illumination

要約

シーンの一連の画像を考えると、新しいビューと照明条件からこのシーンを再レンダリングすることは、コンピュータビジョンとグラフィックスの重要で挑戦的な問題です。
一方では、コンピュータビジョンのほとんどの既存の作品は、通常、画像形成プロセスに関して多くの仮定を課しています。
シーンパラメータの推定を扱いやすくするための直接照明と事前定義されたマテリアル。
一方、成熟したコンピュータグラフィックスツールを使用すると、すべてのシーンパラメータを指定して、複雑なフォトリアリスティックな光輸送のモデリングが可能になります。
これらのアプローチを組み合わせて、新しい環境マップを使用してグローバルイルミネーション効果を暗黙的に処理するニューラル事前計算された放射伝達関数を学習することにより、新しいビューの下でシーンを再照明する方法を提案します。
私たちの方法は、単一の未知の照明条件下でのシーンの実際の画像のセットでのみ監視できます。
トレーニング中のタスクを明確にするために、トレーニングプロセスに微分可能なパストレーサーを緊密に統合し、合成されたOLATと実際の画像損失の組み合わせを提案します。
結果は、シーンパラメータの復元された解きほぐしが現在の最先端技術よりも大幅に改善されていることを示しています。したがって、再レンダリングの結果もより現実的で正確です。

要約(オリジナル)

Given a set of images of a scene, the re-rendering of this scene from novel views and lighting conditions is an important and challenging problem in Computer Vision and Graphics. On the one hand, most existing works in Computer Vision usually impose many assumptions regarding the image formation process, e.g. direct illumination and predefined materials, to make scene parameter estimation tractable. On the other hand, mature Computer Graphics tools allow modeling of complex photo-realistic light transport given all the scene parameters. Combining these approaches, we propose a method for scene relighting under novel views by learning a neural precomputed radiance transfer function, which implicitly handles global illumination effects using novel environment maps. Our method can be solely supervised on a set of real images of the scene under a single unknown lighting condition. To disambiguate the task during training, we tightly integrate a differentiable path tracer in the training process and propose a combination of a synthesized OLAT and a real image loss. Results show that the recovered disentanglement of scene parameters improves significantly over the current state of the art and, thus, also our re-rendering results are more realistic and accurate.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google