Real-Time Neural Rasterization for Large Scenes

要約

我々は、大規模シーンのリアルなリアルタイムノベルビュー合成（NVS）のための新しい方法を提案します。
既存のニューラル レンダリング手法は現実的な結果を生成しますが、主に小規模なシーン (50 平方メートル未満) では機能しますが、大規模なシーン (10,000 平方メートルを超える) では困難です。
従来のグラフィックベースのラスタライゼーション レンダリングは、大規模なシーンでは高速ですが、リアリズムに欠け、高価な手動で作成されたアセットが必要になります。
私たちのアプローチは、リアルタイム レンダリングに標準グラフィックス パイプラインを使用しながら、中程度の品質の足場メッシュを入力として受け取り、ニューラル テクスチャ フィールドとシェーダを学習してビューに依存する効果をモデル化してリアリズムを向上させることにより、両方の長所を組み合わせたものです。
私たちの方法は既存のニューラル レンダリング方法よりも優れており、大規模な自動運転シーンやドローン シーンで同等以上のリアリズムを備えた、少なくとも 30 倍高速なレンダリングを提供します。
私たちの取り組みは、大規模な現実世界のシーンのリアルタイム レンダリングを可能にする初めての試みです。

要約(オリジナル)

We propose a new method for realistic real-time novel-view synthesis (NVS) of large scenes. Existing neural rendering methods generate realistic results, but primarily work for small scale scenes (<50 square meters) and have difficulty at large scale (>10000 square meters). Traditional graphics-based rasterization rendering is fast for large scenes but lacks realism and requires expensive manually created assets. Our approach combines the best of both worlds by taking a moderate-quality scaffold mesh as input and learning a neural texture field and shader to model view-dependant effects to enhance realism, while still using the standard graphics pipeline for real-time rendering. Our method outperforms existing neural rendering methods, providing at least 30x faster rendering with comparable or better realism for large self-driving and drone scenes. Our work is the first to enable real-time rendering of large real-world scenes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google