NeTO:Neural Reconstruction of Transparent Objects with Self-Occlusion Aware Refraction-Tracing

要約

ボリューム レンダリングを介して 2D 画像から固体透明オブジェクトの 3D ジオメトリをキャプチャするための、NeTO と呼ばれる新しい方法を紹介します。
透明なオブジェクトの再構築は非常に困難な作業であり、鏡面反射光輸送現象による汎用再構築技術には適していません。
このタスクのために特別に設計された既存の屈折追跡ベースの方法は印象的な結果を達成しますが、採用した明示的な表面表現は最適化することが難しく、自己遮蔽の問題があるため、依然として不安定な最適化と詳細の損失に悩まされています。
屈折追跡では無視されます。
このホワイト ペーパーでは、サーフェス表現として暗黙の符号付き距離関数 (SDF) を活用し、自己閉塞を考慮した屈折レイ トレーシングを使用したボリューム レンダリングによって SDF フィールドを最適化することを提案します。
暗黙的な表現により、限られた一連の画像でも高品質の再構成を再構築できるようになり、自己閉塞認識戦略により、自己閉塞領域を正確に再構築することが可能になります。
実験は、私たちの方法が忠実な再構成結果を達成し、以前の研究よりも大幅に優れていることを示しています。
\url{https://www.xxlong.site/NeTO/} のプロジェクト ページにアクセスしてください。

要約(オリジナル)

We present a novel method, called NeTO, for capturing 3D geometry of solid transparent objects from 2D images via volume rendering. Reconstructing transparent objects is a very challenging task, which is ill-suited for general-purpose reconstruction techniques due to the specular light transport phenomena. Although existing refraction-tracing based methods, designed specially for this task, achieve impressive results, they still suffer from unstable optimization and loss of fine details, since the explicit surface representation they adopted is difficult to be optimized, and the self-occlusion problem is ignored for refraction-tracing. In this paper, we propose to leverage implicit Signed Distance Function (SDF) as surface representation, and optimize the SDF field via volume rendering with a self-occlusion aware refractive ray tracing. The implicit representation enables our method to be capable of reconstructing high-quality reconstruction even with a limited set of images, and the self-occlusion aware strategy makes it possible for our method to accurately reconstruct the self-occluded regions. Experiments show that our method achieves faithful reconstruction results and outperforms prior works by a large margin. Visit our project page at \url{https://www.xxlong.site/NeTO/}

arxiv情報

提供元, 利用サービス

arxiv.jp, Google