RL-based Stateful Neural Adaptive Sampling and Denoising for Real-Time Path Tracing

要約

モンテカルロ パス トレースは、リアルな画像合成のための強力な技術ですが、サンプル数が少ないと高レベルのノイズが発生するため、リアルタイム アプリケーションでの使用は制限されます。
これに対処するために、サンプリング重要度ネットワーク、潜在空間エンコーダー ネットワーク、およびノイズ除去ネットワークのエンドツーエンドのトレーニングを備えたフレームワークを提案します。
私たちのアプローチでは、強化学習を使用してサンプリング重要度ネットワークを最適化し、明示的に数値的に近似した勾配を回避します。
私たちの方法では、平均化によってピクセルごとのサンプル値を集計するのではなく、すべてのサンプル値を保持し、それが潜在空間エンコーダーに供給されます。
エンコーダーは、手作業で作成された時空間ヒューリスティックを、潜在空間で学習された表現に置き換えます。
最後に、出力画像を洗練するためにニューラル デノイザーがトレーニングされます。
私たちのアプローチは、いくつかの困難なデータセットで視覚的な品質を向上させ、以前の最先端技術と比較して同等の品質でのレンダリング時間を 1.6 倍短縮するため、リアルタイム アプリケーションにとって有望なソリューションとなります。

要約(オリジナル)

Monte-Carlo path tracing is a powerful technique for realistic image synthesis but suffers from high levels of noise at low sample counts, limiting its use in real-time applications. To address this, we propose a framework with end-to-end training of a sampling importance network, a latent space encoder network, and a denoiser network. Our approach uses reinforcement learning to optimize the sampling importance network, thus avoiding explicit numerically approximated gradients. Our method does not aggregate the sampled values per pixel by averaging but keeps all sampled values which are then fed into the latent space encoder. The encoder replaces handcrafted spatiotemporal heuristics by learned representations in a latent space. Finally, a neural denoiser is trained to refine the output image. Our approach increases visual quality on several challenging datasets and reduces rendering times for equal quality by a factor of 1.6x compared to the previous state-of-the-art, making it a promising solution for real-time applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google