Neural Free-Viewpoint Relighting for Glossy Indirect Illumination

要約

事前計算された放射輝度転送 (PRT) は、光沢のあるグローバル イルミネーションなどの複雑な光輸送効果をリアルタイムでレンダリングするための魅力的なソリューションです。
事前計算後、リアルタイムで視点を変更しながら、新しい環境マップでシーンを再照明できます。
ただし、実際の PRT 方法は通常、低周波数の球面調和照明に限定されます。
ウェーブレットを使用する全周波数技術は有望ですが、これまでのところ実用的な影響はほとんどありません。
次元の呪いとはるかに高いデータ要件により、通常、固定ビューでの再照明か、三重積分による直接照明のみに制限されてきました。
この論文では、ビューの変化に応じて再照明するための、光沢のある反射を含む高周波間接照明に対するハイブリッド ニューラル ウェーブレット PRT ソリューションを実証します。
具体的には、ハール ウェーブレット基底で光輸送関数を表現しようとします。
グローバル イルミネーションの場合、空間位置とウェーブレット インデックスの関数として特徴フィールドに適用される小型多層パーセプトロン (MLP) を使用してウェーブレット転送を学習します。反射方向とマテリアル パラメーターは他の MLP 入力です。
さまざまな照明や観察条件下でのシーンの複数の画像から、特徴フィールド (テンソル分解によってコンパクトに表現される) と MLP パラメーターを最適化/学習します。
ビュー依存の反射やコースティクスを含む、難しいシーンのリアルタイム (24 FPS で 512 x 512、13 FPS で 800 x 600) の事前計算レンダリングを示します。

要約(オリジナル)

Precomputed Radiance Transfer (PRT) remains an attractive solution for real-time rendering of complex light transport effects such as glossy global illumination. After precomputation, we can relight the scene with new environment maps while changing viewpoint in real-time. However, practical PRT methods are usually limited to low-frequency spherical harmonic lighting. All-frequency techniques using wavelets are promising but have so far had little practical impact. The curse of dimensionality and much higher data requirements have typically limited them to relighting with fixed view or only direct lighting with triple product integrals. In this paper, we demonstrate a hybrid neural-wavelet PRT solution to high-frequency indirect illumination, including glossy reflection, for relighting with changing view. Specifically, we seek to represent the light transport function in the Haar wavelet basis. For global illumination, we learn the wavelet transport using a small multi-layer perceptron (MLP) applied to a feature field as a function of spatial location and wavelet index, with reflected direction and material parameters being other MLP inputs. We optimize/learn the feature field (compactly represented by a tensor decomposition) and MLP parameters from multiple images of the scene under different lighting and viewing conditions. We demonstrate real-time (512 x 512 at 24 FPS, 800 x 600 at 13 FPS) precomputed rendering of challenging scenes involving view-dependent reflections and even caustics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google