NEAT: Distilling 3D Wireframes from Neural Attraction Fields

要約

本論文では、線分と接合部からなるワイヤーフレームを用いた構造化3D再構成の問題を、シーンの構造化境界形状の計算に焦点を当てて研究する。先行技術のように、3Dワイヤフレーム再構成のために2Dワイヤフレーム（または線分）からのマッチングベースの解を活用する代わりに、我々は、2D観測で3D線分を表現するためのニューラルフィールドと、3Dグローバル接合の疎な集合の知覚と抽出のための二分割マッチングを用いたレンダリング分割定式化であるNEATを提示する。提案された｛NEAT｝は、事前に計算されたクロスビュー特徴マッチングなしに、ビューに依存する2D観測を用いて、ゼロからニューラルフィールドとグローバルジャンクションの共同最適化を楽しむことができる。DTUデータセットとBlendedMVSデータセットを用いた包括的な実験により、我々のNEATが3Dワイヤフレーム再構成のための最新の代替手法よりも優れていることが実証された。さらに、NEATによって抽出された3Dグローバルジャンクションは、SfM点よりも優れた初期化であり、最近開発された高忠実度の新規ビュー合成のための3Dガウススプラッティングでは、約20倍少ない初期3D点を使用する。プロジェクトのページ：\https://xuenan.net/neat}。

要約(オリジナル)

This paper studies the problem of structured 3D reconstruction using wireframes that consist of line segments and junctions, focusing on the computation of structured boundary geometries of scenes. Instead of leveraging matching-based solutions from 2D wireframes (or line segments) for 3D wireframe reconstruction as done in prior arts, we present NEAT, a rendering-distilling formulation using neural fields to represent 3D line segments with 2D observations, and bipartite matching for perceiving and distilling of a sparse set of 3D global junctions. The proposed {NEAT} enjoys the joint optimization of the neural fields and the global junctions from scratch, using view-dependent 2D observations without precomputed cross-view feature matching. Comprehensive experiments on the DTU and BlendedMVS datasets demonstrate our NEAT’s superiority over state-of-the-art alternatives for 3D wireframe reconstruction. Moreover, the distilled 3D global junctions by NEAT, are a better initialization than SfM points, for the recently-emerged 3D Gaussian Splatting for high-fidelity novel view synthesis using about 20 times fewer initial 3D points. Project page: \url{https://xuenan.net/neat}.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL