NeTO:Neural Reconstruction of Transparent Objects with Self-Occlusion Aware Refraction-Tracing

要約

ボリューム レンダリングを介して 2D 画像から固体透明オブジェクトの 3D ジオメトリをキャプチャするための、NeTO と呼ばれる新しい方法を紹介します。
透明なオブジェクトを再構成することは非常に困難な作業ですが、鏡面光輸送現象のため、汎用の再構成技術には適していません。
このタスク用に特別に設計された既存の屈折追跡ベースの手法は、素晴らしい結果を達成していますが、依然として不安定な最適化と細部の損失に悩まされています。これは、採用した明示的な表面表現の最適化が難しく、自己オクルージョンの問題が発生するためです。
屈折追跡では無視されます。
この論文では、表面表現として暗黙的な符号付き距離関数 (SDF) を活用し、自己オクルージョンを意識した屈折光線追跡によるボリューム レンダリングを介して SDF フィールドを最適化することを提案します。
陰的表現により、限られた画像セットでも高品質の再構成が可能になります。また、自己オクルージョン認識戦略により、自己オクルージョン領域を正確に再構成できるようになります。
実験によれば、私たちの方法は忠実な再構成結果を達成し、以前の研究よりも大幅に優れていることがわかりました。
https://www.xxlong.site/NeTO/ のプロジェクト ページにアクセスしてください。

要約(オリジナル)

We present a novel method, called NeTO, for capturing 3D geometry of solid transparent objects from 2D images via volume rendering. Reconstructing transparent objects is a very challenging task, which is ill-suited for general-purpose reconstruction techniques due to the specular light transport phenomena. Although existing refraction-tracing based methods, designed specially for this task, achieve impressive results, they still suffer from unstable optimization and loss of fine details, since the explicit surface representation they adopted is difficult to be optimized, and the self-occlusion problem is ignored for refraction-tracing. In this paper, we propose to leverage implicit Signed Distance Function (SDF) as surface representation, and optimize the SDF field via volume rendering with a self-occlusion aware refractive ray tracing. The implicit representation enables our method to be capable of reconstructing high-quality reconstruction even with a limited set of images, and the self-occlusion aware strategy makes it possible for our method to accurately reconstruct the self-occluded regions. Experiments show that our method achieves faithful reconstruction results and outperforms prior works by a large margin. Visit our project page at https://www.xxlong.site/NeTO/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google