Neural Radiance Fields for Transparent Object Using Visual Hull

要約

不透明なオブジェクトとは異なり、透明なオブジェクトの新規ビュー合成は困難な作業です。透明なオブジェクトは背景の光を屈折させ、視点の変更に応じて透明なオブジェクトの表面に視覚的な歪みを引き起こすためです。
最近導入された Neural Radiance Fields (NeRF) はビュー合成手法です。
目覚ましい性能向上により、NeRF をベースにした次のようなさまざまな分野のアプリケーションが数多く開発されています。
ただし、透明物体など屈折率の異なる物体がシーンに含まれる場合、透明物体の表面での屈折光線が適切に考慮されないため、NeRF の性能は制限されます。
この問題を解決するために、我々は次の 3 つのステップからなる NeRF ベースの方法を提案します。 まず、視覚ハルを使用して透明なオブジェクトの 3 次元形状を再構成します。
次に、スネルの法則に従って、透明なオブジェクトの内部での光線の屈折をシミュレートします。
最後に、屈折した光線を通じて点をサンプリングし、NeRF に入力します。
実験的な評価結果は、私たちの方法が透明なオブジェクトを使用した従来の NeRF の制限に対処していることを示しています。

要約(オリジナル)

Unlike opaque object, novel view synthesis of transparent object is a challenging task, because transparent object refracts light of background causing visual distortions on the transparent object surface along the viewpoint change. Recently introduced Neural Radiance Fields (NeRF) is a view synthesis method. Thanks to its remarkable performance improvement, lots of following applications based on NeRF in various topics have been developed. However, if an object with a different refractive index is included in a scene such as transparent object, NeRF shows limited performance because refracted light ray at the surface of the transparent object is not appropriately considered. To resolve the problem, we propose a NeRF-based method consisting of the following three steps: First, we reconstruct a three-dimensional shape of a transparent object using visual hull. Second, we simulate the refraction of the rays inside of the transparent object according to Snell’s law. Last, we sample points through refracted rays and put them into NeRF. Experimental evaluation results demonstrate that our method addresses the limitation of conventional NeRF with transparent objects.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google