NeRRF: 3D Reconstruction and View Synthesis for Transparent and Specular Objects with Neural Refractive-Reflective Fields

要約

Neural Radiance Field (NeRF) は、画像ベースのビュー合成の分野に革命をもたらしました。
しかし、NeRF は直線光線を使用するため、屈折や反射による複雑な光路の変化に対処できません。
これにより、NeRF は、現実世界のロボット工学や A/VR アプリケーションでよく見られる透明または鏡面オブジェクトを正常に合成できなくなります。
この論文では、屈折-反射場について紹介します。
オブジェクトのシルエットを入力として受け取り、最初にプログレッシブ エンコーディングを備えたマーチング四面体を利用して非ランバート オブジェクトのジオメトリを再構築し、次にフレネル項を使用する統一フレームワークでオブジェクトの屈折と反射の効果をモデル化します。
一方、効率的かつ効果的なアンチエイリアシングを実現するために、仮想コーン スーパーサンプリング手法を提案します。
現実世界と合成データセットの両方で、さまざまな形状、背景、フレネル項でメソッドのベンチマークを行います。
また、マテリアル編集、オブジェクトの置換/挿入、環境照明の推定など、さまざまな編集アプリケーションのレンダリング結果を定性的および定量的にベンチマークします。
コードとデータは https://github.com/dawning77/NeRRF で公開されています。

要約(オリジナル)

Neural radiance fields (NeRF) have revolutionized the field of image-based view synthesis. However, NeRF uses straight rays and fails to deal with complicated light path changes caused by refraction and reflection. This prevents NeRF from successfully synthesizing transparent or specular objects, which are ubiquitous in real-world robotics and A/VR applications. In this paper, we introduce the refractive-reflective field. Taking the object silhouette as input, we first utilize marching tetrahedra with a progressive encoding to reconstruct the geometry of non-Lambertian objects and then model refraction and reflection effects of the object in a unified framework using Fresnel terms. Meanwhile, to achieve efficient and effective anti-aliasing, we propose a virtual cone supersampling technique. We benchmark our method on different shapes, backgrounds and Fresnel terms on both real-world and synthetic datasets. We also qualitatively and quantitatively benchmark the rendering results of various editing applications, including material editing, object replacement/insertion, and environment illumination estimation. Codes and data are publicly available at https://github.com/dawning77/NeRRF.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google