Sphere-Guided Training of Neural Implicit Surfaces

要約

近年、ニューラル陰関数によるサーフェス モデリングは、マルチビュー 3D 再構成の主要な手法の 1 つになりました。
ただし、最先端の方法は陰関数に依存してシーンのボリューム全体をモデル化するため、薄いオブジェクトまたは高周波の詳細がある領域で再構成の忠実度が低下します。
それに対処するために、表面ガイドとして機能する補助的な明示的な形状表現と一緒にニューラルの暗黙的な表面を共同でトレーニングする方法を提示します。
私たちのアプローチでは、この表現はシーンの表面領域をカプセル化し、その領域のボリュームのみをモデル化することで陰関数トレーニングの効率を高めることができます。
学習可能な球面プリミティブのセットを学習可能な表面ガイダンスとして使用することを提案します。これは、勾配を使用してニューラル表面関数と一緒に効率的にトレーニングできるためです。
トレーニング パイプラインは、陰関数の勾配を使用して球の中心を繰り返し更新し、後者をシーンの更新された表面領域に微調整することで構成されます。
このようなトレーニング手順の変更をいくつかの一般的な暗黙の再構成方法にプラグインできることを示し、複数の 3D 再構成ベンチマークで結果の品質を向上させます。

要約(オリジナル)

In recent years, surface modeling via neural implicit functions has become one of the main techniques for multi-view 3D reconstruction. However, the state-of-the-art methods rely on the implicit functions to model an entire volume of the scene, leading to reduced reconstruction fidelity in the areas with thin objects or high-frequency details. To address that, we present a method for jointly training neural implicit surfaces alongside an auxiliary explicit shape representation, which acts as surface guide. In our approach, this representation encapsulates the surface region of the scene and enables us to boost the efficiency of the implicit function training by only modeling the volume in that region. We propose using a set of learnable spherical primitives as a learnable surface guidance since they can be efficiently trained alongside the neural surface function using its gradients. Our training pipeline consists of iterative updates of the spheres’ centers using the gradients of the implicit function and then fine-tuning the latter to the updated surface region of the scene. We show that such modification to the training procedure can be plugged into several popular implicit reconstruction methods, improving the quality of the results over multiple 3D reconstruction benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google