Neural Assets: Volumetric Object Capture and Rendering for Interactive Environments

要約

リアルなバーチャル アセットの作成は、時間のかかるプロセスです。通常は、アーティストがオブジェクトを設計し、その外観を微調整するために多くの労力を費やします。
複雑な詳細と、サブサーフェス スキャタリングなどの特定の効果は、リアルタイム BRDF を使用した表現を逃し、特定のオブジェクトの外観を完全にキャプチャすることを不可能にします。
最近のニューラル レンダリングの進歩に着想を得て、日常の環境で現実世界のオブジェクトを忠実かつ高速にキャプチャするためのアプローチを提案します。
新しいニューラル表現を使用して、半透明のオブジェクト部分などのボリューム効果を再構築し、フォトリアリスティックなオブジェクトの外観を維持します。
レンダリング品質を損なうことなくリアルタイム レンダリングをサポートするために、このモデルでは機能のグリッドと、インタラクティブなフレームレートを備えた効率的なシェーダー コードにトランスパイルされる小さな MLP デコーダーを使用します。
これにより、提案されたニューラル アセットが既存のメッシュ環境およびオブジェクトとシームレスに統合されます。
標準シェーダー コードの使用により、レンダリングは多くの既存のハードウェアおよびソフトウェア システムに移植できます。

要約(オリジナル)

Creating realistic virtual assets is a time-consuming process: it usually involves an artist designing the object, then spending a lot of effort on tweaking its appearance. Intricate details and certain effects, such as subsurface scattering, elude representation using real-time BRDFs, making it impossible to fully capture the appearance of certain objects. Inspired by the recent progress of neural rendering, we propose an approach for capturing real-world objects in everyday environments faithfully and fast. We use a novel neural representation to reconstruct volumetric effects, such as translucent object parts, and preserve photorealistic object appearance. To support real-time rendering without compromising rendering quality, our model uses a grid of features and a small MLP decoder that is transpiled into efficient shader code with interactive framerates. This leads to a seamless integration of the proposed neural assets with existing mesh environments and objects. Thanks to the use of standard shader code rendering is portable across many existing hardware and software systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google