Improving Neural Indoor Surface Reconstruction with Mask-Guided Adaptive Consistency Constraints

要約

2D 画像から 3D シーンを再構成することは長年の課題でした。
最近の研究では、フレームごとの深度マップを推定して 3D で融合するのではなく、3D 再構成の統一表現としてニューラル インプリシット サーフェスを活用しています。
データ駆動型の事前トレーニング済み幾何学キューを備えたこれらの手法は、有望なパフォーマンスを実証しています。
ただし、不正確な事前推定は通常避けられず、特に一部の幾何学的に複雑な領域では、再構成の品質が最適以下になる可能性があります。
この論文では、ビューに依存する色とビューに依存しない色を分離し、2 つの新しい一貫性制約を活用して、追加の事前分布を必要とせずに細部の再構成パフォーマンスを向上させる 2 段階のトレーニング プロセスを提案します。
さらに、監視制約の選択に適応的に影響を与える必須のマスク スキームを導入し、それによって自己監視パラダイムのパフォーマンスを向上させます。
合成データセットと現実世界のデータセットの実験では、事前の推定エラーによる干渉を軽減し、豊富な幾何学的詳細を備えた高品質のシーン再構成を実現できることが示されています。

要約(オリジナル)

3D scene reconstruction from 2D images has been a long-standing task. Instead of estimating per-frame depth maps and fusing them in 3D, recent research leverages the neural implicit surface as a unified representation for 3D reconstruction. Equipped with data-driven pre-trained geometric cues, these methods have demonstrated promising performance. However, inaccurate prior estimation, which is usually inevitable, can lead to suboptimal reconstruction quality, particularly in some geometrically complex regions. In this paper, we propose a two-stage training process, decouple view-dependent and view-independent colors, and leverage two novel consistency constraints to enhance detail reconstruction performance without requiring extra priors. Additionally, we introduce an essential mask scheme to adaptively influence the selection of supervision constraints, thereby improving performance in a self-supervised paradigm. Experiments on synthetic and real-world datasets show the capability of reducing the interference from prior estimation errors and achieving high-quality scene reconstruction with rich geometric details.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google