SpecNeRF: Gaussian Directional Encoding for Specular Reflections

要約

ニューラル放射フィールドは、3D シーンの外観のモデリングにおいて顕著なパフォーマンスを達成しました。
しかし、既存のアプローチは、特に屋内環境の複雑な照明の下で、光沢のある表面のビュー依存の外観に依然として苦労しています。
通常、環境マップのような遠方照明を想定する既存の方法とは異なり、近接場照明条件下でのビュー依存の効果をより適切にモデル化するために、学習可能なガウス方向エンコーディングを提案します。
重要なのは、私たちの新しい方向エンコーディングは、近接場照明の空間的に変化する性質を捉え、プレフィルターされた環境マップの動作をエミュレートすることです。
その結果、さまざまな粗さ係数を持つ任意の 3D 位置で、事前に畳み込まれた鏡面反射色の効率的な評価が可能になります。
さらに、反射モデリングにおける形状放射輝度の曖昧さを軽減するのに役立つデータ駆動型ジオメトリを事前に導入します。
我々のガウス方向エンコーディングとジオメトリが、神経放射フィールドにおける困難な鏡面反射のモデリングを大幅に改善し、外観をより物理的に意味のあるコンポーネントに分解するのに役立つことを示します。

要約(オリジナル)

Neural radiance fields have achieved remarkable performance in modeling the appearance of 3D scenes. However, existing approaches still struggle with the view-dependent appearance of glossy surfaces, especially under complex lighting of indoor environments. Unlike existing methods, which typically assume distant lighting like an environment map, we propose a learnable Gaussian directional encoding to better model the view-dependent effects under near-field lighting conditions. Importantly, our new directional encoding captures the spatially-varying nature of near-field lighting and emulates the behavior of prefiltered environment maps. As a result, it enables the efficient evaluation of preconvolved specular color at any 3D location with varying roughness coefficients. We further introduce a data-driven geometry prior that helps alleviate the shape radiance ambiguity in reflection modeling. We show that our Gaussian directional encoding and geometry prior significantly improve the modeling of challenging specular reflections in neural radiance fields, which helps decompose appearance into more physically meaningful components.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google