DynamicSurf: Dynamic Neural RGB-D Surface Reconstruction with an Optimizable Feature Grid

要約

単眼の RGB-D ビデオから非剛体表面を高忠実度 3D モデリングするための、モデルフリーのニューラル暗黙的表面再構成手法である DynamicSurf を提案します。
3D 再構築で最も困難な設定の 1 つである、変形するサーフェスの単眼シーケンスにおけるマルチビュー キューの欠如に対処するために、DynamicSurf は深さ、サーフェス法線、および RGB 損失を活用して、再構築の忠実度と最適化時間を改善します。
DynamicSurf は、サーフェス ジオメトリの標準表現を現在のフレームにマッピングするニューラル変形フィールドを学習します。
私たちは、単一の MLP を使用する競合アプローチよりも高速かつ正確な表面再構築につながる、学習された特徴グリッドとして正規表現を設計することにより、現在の神経非剛体表面再構築モデルから脱却します。
私たちは公開データセット上で DynamicSurf を実証し、純粋な MLP ベースのアプローチと比べて 6 倍の高速化を実現し、最先端の手法と同等の結果を達成しながら、さまざまなフレームのシーケンスを最適化できることを示します。
プロジェクトは https://mirgahney.github.io//DynamicSurf.io/ で入手できます。

要約(オリジナル)

We propose DynamicSurf, a model-free neural implicit surface reconstruction method for high-fidelity 3D modelling of non-rigid surfaces from monocular RGB-D video. To cope with the lack of multi-view cues in monocular sequences of deforming surfaces, one of the most challenging settings for 3D reconstruction, DynamicSurf exploits depth, surface normals, and RGB losses to improve reconstruction fidelity and optimisation time. DynamicSurf learns a neural deformation field that maps a canonical representation of the surface geometry to the current frame. We depart from current neural non-rigid surface reconstruction models by designing the canonical representation as a learned feature grid which leads to faster and more accurate surface reconstruction than competing approaches that use a single MLP. We demonstrate DynamicSurf on public datasets and show that it can optimize sequences of varying frames with $6\times$ speedup over pure MLP-based approaches while achieving comparable results to the state-of-the-art methods. Project is available at https://mirgahney.github.io//DynamicSurf.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google