High-Quality Supersampling via Mask-reinforced Deep Learning for Real-time Rendering

要約

リアルタイムアプリケーションで高品質なレンダリング画像を生成するためには、低解像度で数個のサンプル・パー・ピクセル（spp）だけをトレースし、その後高解像度へスーパーサンプリングすることがよく行われます。低解像度でレンダリングされた画素は一般的に高エイリアスであるという観察に基づき、我々は高解像度で1/4sppサンプルのレイトレーシングに基づくニューラル・スーパーサンプリングの新しい方法を提示する。我々の重要な洞察は、ターゲット解像度でのレイトレーシングされたサンプルは正確で信頼性が高く、スーパーサンプリングが補間問題になることである。我々は、高品質な画像シーケンスを再構成し、補間するためのマスク強化型ニューラルネットワークを提示する。まず、新しい時間的蓄積ネットワークを導入し、現在の特徴と以前の特徴の相関を計算し、その時間的安定性を大幅に改善する。次に、スキップ接続を持つマルチスケールU-Netに基づく再構成ネットワークを、所望の高解像度画像の再構成と生成のために採用する。実験と比較の結果、提案手法は、現在の最先端手法よりも、レイトレーシングの総サンプル数を増やすことなく、より高品質なスーパーサンプリングの結果を生成できることが示された。

要約(オリジナル)

To generate high quality rendering images for real time applications, it is often to trace only a few samples-per-pixel (spp) at a lower resolution and then supersample to the high resolution. Based on the observation that the rendered pixels at a low resolution are typically highly aliased, we present a novel method for neural supersampling based on ray tracing 1/4-spp samples at the high resolution. Our key insight is that the ray-traced samples at the target resolution are accurate and reliable, which makes the supersampling an interpolation problem. We present a mask-reinforced neural network to reconstruct and interpolate high-quality image sequences. First, a novel temporal accumulation network is introduced to compute the correlation between current and previous features to significantly improve their temporal stability. Then a reconstruct network based on a multi-scale U-Net with skip connections is adopted for reconstruction and generation of the desired high-resolution image. Experimental results and comparisons have shown that our proposed method can generate higher quality results of supersampling, without increasing the total number of ray-tracing samples, over current state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL