Real-Time Neural BRDF with Spherically Distributed Primitives

要約

私たちは、リアルタイム レンダリングの実現に向けて、非常に軽量なメモリとニューラル計算消費量でありながら、非常に汎用性の高いマテリアル表現を提供する、新しいコンパクトで効率的なニューラル BRDF を提案します。
現在のデスクトップ マシンでフル HD 解像度でレンダリングされた図 1 の結果は、次の 2 つの設計によってアプローチされる、さまざまな外観のリアルタイム レンダリングをシステムが実現していることを示しています。
一方では、双方向反射率が非常にまばらな高次元部分空間に分布していることに留意して、BRDF を 2 つの低次元コンポーネント、つまり、それぞれ入射方向と出射方向の 2 つの半球特徴グリッドに投影することを提案します。
一方、学習可能なニューラル反射率プリミティブは、高度にカスタマイズされた球面グリッド上に分散されており、各コンポーネントに有益な特徴を提供し、従来の重い特徴学習ネットワークをはるかに小さいネットワークに軽減し、非常に高速な評価につながります。
これらのプリミティブはコードブックに集中的に保存され、マテリアル固有の球面グリッドに保存された低コストのインデックスに基づいて、複数のグリッド間、さらにはマテリアル間で共有することができます。
当社のニューラル BRDF はマテリアルに依存せず、一貫した方法でさまざまなマテリアルを表現できる統一フレームワークを提供します。
測定された BRDF 圧縮、モンテカルロでシミュレートされた BRDF 加速、および空間的に変化する効果への拡張に関する包括的な実験結果は、提案されたスキームによって達成される優れた品質と一般化可能性を示しています。

要約(オリジナル)

We propose a novel compact and efficient neural BRDF offering highly versatile material representation, yet with very-light memory and neural computation consumption towards achieving real-time rendering. The results in Figure 1, rendered at full HD resolution on a current desktop machine, show that our system achieves real-time rendering with a wide variety of appearances, which is approached by the following two designs. On the one hand, noting that bidirectional reflectance is distributed in a very sparse high-dimensional subspace, we propose to project the BRDF into two low-dimensional components, i.e., two hemisphere feature-grids for incoming and outgoing directions, respectively. On the other hand, learnable neural reflectance primitives are distributed on our highly-tailored spherical surface grid, which offer informative features for each component and alleviate the conventional heavy feature learning network to a much smaller one, leading to very fast evaluation. These primitives are centrally stored in a codebook and can be shared across multiple grids and even across materials, based on the low-cost indices stored in material-specific spherical surface grids. Our neural BRDF, which is agnostic to the material, provides a unified framework that can represent a variety of materials in consistent manner. Comprehensive experimental results on measured BRDF compression, Monte Carlo simulated BRDF acceleration, and extension to spatially varying effect demonstrate the superior quality and generalizability achieved by the proposed scheme.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google