GO-Surf: Neural Feature Grid Optimization for Fast, High-Fidelity RGB-D Surface Reconstruction

要約

RGB-Dシーケンスからの正確で高速な表面再構成のための直接特徴グリッド最適化手法であるGO-Surfを紹介します。
マルチレベルの幾何学的および外観のローカル情報をカプセル化する、学習された階層的特徴ボクセルグリッドを使用して、基になるシーンをモデル化します。
特徴ベクトルは、3線形補間され、2つの浅いMLPによって符号付き距離と放射輝度の値にデコードされ、表面ボリュームレンダリングによってレンダリングされた後、合成されたRGB/深度値と観測されたRGB/深度値の間の不一致が最小限に抑えられるように直接最適化されます。
当社の監視信号（RGB、深度、近似SDF）は、融合や後処理を必要とせずに、入力画像から直接取得できます。
高周波の詳細を維持しながら、表面の滑らかさと穴の充填を促進する新しいSDF勾配正則化項を作成します。
GO-Surfは、$ 1 $-$ 2$Kフレームのシーケンスを$15$-$ 45 $分で最適化できます。これは、MLP表現に基づく最も関連性の高いアプローチであるNeuralRGB-Dよりも$ \ times60 $のスピードアップであり、
標準ベンチマーク。
プロジェクトページ：https：//jingwenwang95.github.io/go_surf/

要約(オリジナル)

We present GO-Surf, a direct feature grid optimization method for accurate and fast surface reconstruction from RGB-D sequences. We model the underlying scene with a learned hierarchical feature voxel grid that encapsulates multi-level geometric and appearance local information. Feature vectors are directly optimized such that after being tri-linearly interpolated, decoded by two shallow MLPs into signed distance and radiance values, and rendered via surface volume rendering, the discrepancy between synthesized and observed RGB/depth values is minimized. Our supervision signals — RGB, depth and approximate SDF — can be obtained directly from input images without any need for fusion or post-processing. We formulate a novel SDF gradient regularization term that encourages surface smoothness and hole filling while maintaining high frequency details. GO-Surf can optimize sequences of $1$-$2$K frames in $15$-$45$ minutes, a speedup of $\times60$ over NeuralRGB-D, the most related approach based on an MLP representation, while maintaining on par performance on standard benchmarks. Project page: https://jingwenwang95.github.io/go_surf/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google