Baking Relightable NeRF for Real-time Direct/Indirect Illumination Rendering

要約

特定の照明条件 (トレーニング時には表示されない) の下で新しいビューを合成する再照明は、没入型のフォトリアルな体験には必須の機能です。
ただし、リアルタイムの再ライティングは、形状とマテリアルの分解と影をモデル化するための可視性テストを必要とするレンダリング方程式の計算コストが高いため、困難です。
さらに、間接照明の場合、各二次表面点 (反射が発生する場所) でのレンダリング方程式の追加計算が必要となるため、リアルタイムの再照明が困難になります。
我々は、CNN レンダラを実行して、直接照明に必要な主表面点とレンダリング パラメータを計算する新しい方法を提案します。
また、二次光線追跡プロセスを実行するために再帰的に実行される、間接照明用の​​軽量のハッシュ グリッド ベースのレンダラーも紹介します。
どちらのレンダラーも、事前にトレーニングされた教師モデルから抽出してトレーニングされており、目に見えない照明条件下でレンダリング品質の損失をごくわずかに抑えながら、リアルタイムの物理ベースのレンダリングを提供します。

要約(オリジナル)

Relighting, which synthesizes a novel view under a given lighting condition (unseen in training time), is a must feature for immersive photo-realistic experience. However, real-time relighting is challenging due to high computation cost of the rendering equation which requires shape and material decomposition and visibility test to model shadow. Additionally, for indirect illumination, additional computation of rendering equation on each secondary surface point (where reflection occurs) is required rendering real-time relighting challenging. We propose a novel method that executes a CNN renderer to compute primary surface points and rendering parameters, required for direct illumination. We also present a lightweight hash grid-based renderer, for indirect illumination, which is recursively executed to perform the secondary ray tracing process. Both renderers are trained in a distillation from a pre-trained teacher model and provide real-time physically-based rendering under unseen lighting condition at a negligible loss of rendering quality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google