NeRF-Casting: Improved View-Dependent Appearance with Consistent Reflections

要約

Neural Radiance Fields (NeRF) は通常、視点の変化に応じて外観が急速に変化する、鏡面反射性の高いオブジェクトを再構築してレンダリングするのに苦労します。
最近の研究により、遠くの環境照明の詳細な鏡面反射をレンダリングする NeRF の能力は向上しましたが、近くのコンテンツの一貫した反射を合成することはできません。
さらに、これらの技術は、出射輝度をモデル化するために大規模な計算コストのかかるニューラル ネットワークに依存しているため、最適化とレンダリング速度が大幅に制限されます。
私たちは、レイ トレーシングに基づくアプローチでこれらの問題に対処します。各カメラ光線に沿った点での発信ビュー依存の放射輝度を高価なニューラル ネットワークに問い合わせる代わりに、モデルはこれらの点から反射光線を投射し、NeRF 表現を通じてそれらを追跡してレンダリングします。
特徴ベクトルは、小規模で安価なネットワークを使用してカラーにデコードされます。
私たちのモデルは、光沢のあるオブジェクトを含むシーンのビュー合成に関して従来の方法よりも優れていること、および現在の状態と同等の最適化時間を必要としながら、現実世界のシーンでフォトリアリスティックな鏡面反射と反射を合成できる唯一の既存の NeRF 方法であることを実証します。
-アートビュー合成モデル。

要約(オリジナル)

Neural Radiance Fields (NeRFs) typically struggle to reconstruct and render highly specular objects, whose appearance varies quickly with changes in viewpoint. Recent works have improved NeRF’s ability to render detailed specular appearance of distant environment illumination, but are unable to synthesize consistent reflections of closer content. Moreover, these techniques rely on large computationally-expensive neural networks to model outgoing radiance, which severely limits optimization and rendering speed. We address these issues with an approach based on ray tracing: instead of querying an expensive neural network for the outgoing view-dependent radiance at points along each camera ray, our model casts reflection rays from these points and traces them through the NeRF representation to render feature vectors which are decoded into color using a small inexpensive network. We demonstrate that our model outperforms prior methods for view synthesis of scenes containing shiny objects, and that it is the only existing NeRF method that can synthesize photorealistic specular appearance and reflections in real-world scenes, while requiring comparable optimization time to current state-of-the-art view synthesis models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google