Light Sampling Field and BRDF Representation for Physically-based Neural Rendering

要約

タイトル：物理ベースのニューラルレンダリングのためのライトサンプリングフィールドとBRDF表現

要約：

– 物理ベースのレンダリング（PBR）は、コンピュータグラフィックス資産から詳細で現実的なシーンを展示するため広く使用されている没入型レンダリング効果に必要である。
– しかし、同じものを生成するには計算的に重く、複雑なキャプチャデバイスに依存するというよく知られた欠点がある。
– 最近の体積的なニューラルレンダリングの品質と効率の成功にインスパイアされて、デバイス依存性を排除し、性能を大幅に向上させるために物理ベースのニューラルシェーダーを開発したいと考えている。
– しかし、現在のニューラルレンダリングにおける既存のライティングとマテリアルモデルでは、PBRプロセスに必要な包括的なライティングモデルとBRDFの性質を正確に表現することができない。
– そこで、本論文は、学習されたライトサンプリングフィールドで直接的な光と間接的な光を局所的にモデル化する新しいライティング表現を提案する。
– また、非透明材料（すなわち、肌、玉石など）など複雑なオブジェクトを可能にする表面/サブサーフェス散乱の詳細を別々に表現するBRDFモデルを提案する。
– そして、提案された表現をエンドツーエンドの物理ベースのニューラル顔肌シェーダーで実装する。
– このシェーダーは、標準のフェイスアセット（ジオメトリ、アルベドマップ、法線マップ）と照明のHDRIを入力として受け取り、写真のようなリアリスティックなレンダリングを出力する。
– 広範な実験で、提案されたPBRフェイススキンシェーダーの品質と効率が示され、提案されたライティングとマテリアル表現の有効性が示されました。

要約(オリジナル)

Physically-based rendering (PBR) is key for immersive rendering effects used widely in the industry to showcase detailed realistic scenes from computer graphics assets. A well-known caveat is that producing the same is computationally heavy and relies on complex capture devices. Inspired by the success in quality and efficiency of recent volumetric neural rendering, we want to develop a physically-based neural shader to eliminate device dependency and significantly boost performance. However, no existing lighting and material models in the current neural rendering approaches can accurately represent the comprehensive lighting models and BRDFs properties required by the PBR process. Thus, this paper proposes a novel lighting representation that models direct and indirect light locally through a light sampling strategy in a learned light sampling field. We also propose BRDF models to separately represent surface/subsurface scattering details to enable complex objects such as translucent material (i.e., skin, jade). We then implement our proposed representations with an end-to-end physically-based neural face skin shader, which takes a standard face asset (i.e., geometry, albedo map, and normal map) and an HDRI for illumination as inputs and generates a photo-realistic rendering as output. Extensive experiments showcase the quality and efficiency of our PBR face skin shader, indicating the effectiveness of our proposed lighting and material representations.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI