HF-NeuS: Improved Surface Reconstruction Using High-Frequency Details

要約

ニューラル レンダリングを使用して、3D 監視なしで形状の暗黙的な表現を再構築できます。
ただし、現在の神経表面の再構築方法では、高頻度のジオメトリの詳細を学習するのが難しいため、再構築された形状はしばしば過度に滑らかになります。
ニューラルレンダリングにおける表面再構成の品質を向上させる新しい方法であるHF-NeuSを開発します。
サーフェスを符号付き距離関数 (SDF) としてモデル化する最近の研究に従います。
まず、SDF、体積密度、透明度関数、および体積レンダリング方程式で使用される重み関数の間の関係を分析するための導出を提供し、変換された SDF として透明度をモデル化することを提案します。
次に、単一の SDF で高周波成分と低周波成分を一緒にエンコードしようとすると、最適化が不安定になることがわかります。
SDF をベース関数と変位関数に分解し、粗いものから細かいものへの戦略を使用して、高周波の詳細を徐々に増やすことを提案します。
最後に、SDF にアーティファクトがある表面近くの領域の改善にトレーニング プロセスを集中させる適応最適化戦略を設計します。
私たちの定性的および定量的な結果は、私たちの方法がきめの細かい表面の詳細を再構築し、現在の最先端技術よりも優れた表面再構築品質を得ることができることを示しています。
コードは https://github.com/yiqun-wang/HFS で入手できます。

要約(オリジナル)

Neural rendering can be used to reconstruct implicit representations of shapes without 3D supervision. However, current neural surface reconstruction methods have difficulty learning high-frequency geometry details, so the reconstructed shapes are often over-smoothed. We develop HF-NeuS, a novel method to improve the quality of surface reconstruction in neural rendering. We follow recent work to model surfaces as signed distance functions (SDFs). First, we offer a derivation to analyze the relationship between the SDF, the volume density, the transparency function, and the weighting function used in the volume rendering equation and propose to model transparency as transformed SDF. Second, we observe that attempting to jointly encode high-frequency and low-frequency components in a single SDF leads to unstable optimization. We propose to decompose the SDF into a base function and a displacement function with a coarse-to-fine strategy to gradually increase the high-frequency details. Finally, we design an adaptive optimization strategy that makes the training process focus on improving those regions near the surface where the SDFs have artifacts. Our qualitative and quantitative results show that our method can reconstruct fine-grained surface details and obtain better surface reconstruction quality than the current state of the art. Code available at https://github.com/yiqun-wang/HFS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google