Looking Through the Glass: Neural Surface Reconstruction Against High Specular Reflections

要約

タイトル：ガラス越しの高反射を考慮したニューラルサーフェス再構築

要約：
– ニューラル暗黙法は、わずかな反射ハイライトの下で高品質な3Dオブジェクト表面を達成している。
– しかし、私達がガラス越しに撮影する時、高反射がしばしば対象物の前面に現れるため、これらのシーンの複雑さは多視角一致性を破り、最近の手法が対象物を正確に再構築することを困難にする。
– この問題を解決するために、本研究では、暗黙的ニューラルレンダリングに基づく新しいサーフェス再構築フレームワークであるNeuS-HSRを提案する。
– NeuS-HSRでは、オブジェクト表面は暗黙の符号付き距離関数（SDF）としてパラメータ化される。
– HSRの干渉を減らすために、レンダリングされた画像を2つの外観、つまり対象物と補助平面に分解することを提案する。
– 補助平面外観を生成するため、物理的仮定とニューラルネットワークを組み合わせた新しい補助平面モジュールを設計する。
– シンセティックおよびリアルワールドのデータセットでの広範な実験は、NeuS-HSRがHSRに対して正確で堅牢な対象表面再構築のための最先端のアプローチを上回っていることを示している。
– コードは https://github.com/JiaxiongQ/NeuS-HSR で利用可能。

要約(オリジナル)

Neural implicit methods have achieved high-quality 3D object surfaces under slight specular highlights. However, high specular reflections (HSR) often appear in front of target objects when we capture them through glasses. The complex ambiguity in these scenes violates the multi-view consistency, then makes it challenging for recent methods to reconstruct target objects correctly. To remedy this issue, we present a novel surface reconstruction framework, NeuS-HSR, based on implicit neural rendering. In NeuS-HSR, the object surface is parameterized as an implicit signed distance function (SDF). To reduce the interference of HSR, we propose decomposing the rendered image into two appearances: the target object and the auxiliary plane. We design a novel auxiliary plane module by combining physical assumptions and neural networks to generate the auxiliary plane appearance. Extensive experiments on synthetic and real-world datasets demonstrate that NeuS-HSR outperforms state-of-the-art approaches for accurate and robust target surface reconstruction against HSR. Code is available at https://github.com/JiaxiongQ/NeuS-HSR.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI