Neural Directional Encoding for Efficient and Accurate View-Dependent Appearance Modeling

要約

光沢のある金属や光沢のあるペイントなどの鏡面オブジェクトを新しいビューで合成することは、依然として大きな課題です。
光沢のある外観だけでなく、環境内の他のオブジェクトの反射を含むグローバル イルミネーション効果も、シーンを忠実に再現するための重要な要素です。
この論文では、鏡面オブジェクトをレンダリングするためのニューラル放射輝度フィールド (NeRF) のビュー依存の外観エンコーディングであるニューラル方向エンコーディング (NDE) を紹介します。
NDE は、フィーチャ グリッド ベースの空間エンコーディングの概念を角度ドメインに移し、高周波角度信号をモデル化する能力を大幅に向上させます。
角度入力のみでエンコード関数を使用する以前の方法とは対照的に、空間特徴をさらにコーントレースして、空間的に変化する方向エンコードを取得し、困難な相互反射効果に対処します。
合成データセットと実際のデータセットの両方に関する広範な実験により、NDE を使用した NeRF モデルは、(1) 鏡面オブジェクトのビュー合成において最先端のパフォーマンスを上回り、(2) 小規模ネットワークと連携して高速 (リアルタイム) 推論が可能であることが示されています。
プロジェクトの Web ページとソース コードは、\url{https://lwwu2.github.io/nde/} から入手できます。

要約(オリジナル)

Novel-view synthesis of specular objects like shiny metals or glossy paints remains a significant challenge. Not only the glossy appearance but also global illumination effects, including reflections of other objects in the environment, are critical components to faithfully reproduce a scene. In this paper, we present Neural Directional Encoding (NDE), a view-dependent appearance encoding of neural radiance fields (NeRF) for rendering specular objects. NDE transfers the concept of feature-grid-based spatial encoding to the angular domain, significantly improving the ability to model high-frequency angular signals. In contrast to previous methods that use encoding functions with only angular input, we additionally cone-trace spatial features to obtain a spatially varying directional encoding, which addresses the challenging interreflection effects. Extensive experiments on both synthetic and real datasets show that a NeRF model with NDE (1) outperforms the state of the art on view synthesis of specular objects, and (2) works with small networks to allow fast (real-time) inference. The project webpage and source code are available at: \url{https://lwwu2.github.io/nde/}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google