Sharpening Neural Implicit Functions with Frequency Consolidation Priors

要約

符号付き距離関数 (SDF) は、忠実度の高い 3D サーフェスを表現するための重要な暗黙的な表現です。
現在の方法では、主にニューラル ネットワークを利用して、符号付き距離、3D 点群、マルチビュー画像などのさまざまな監視から SDF を学習します。
ただし、低周波コンテンツに対するニューラル ネットワークの偏り、3D を意識しないサンプリング、点群のまばらさ、画像の低解像度などのさまざまな理由により、ニューラルの暗黙的表現は、特に鋭い構造などの高周波成分を含むジオメトリを表現するのに依然として苦労しています。
画像や点群から学習したもの。
この課題を克服するために、私たちは、高周波成分を回復することによって低周波 SDF 観測を鮮明にし、より鮮明でより完全な表面を追求する方法を導入します。
私たちの重要なアイデアは、データ駆動型の方法で低周波観測から全周波数カバレッジへのマッピングを学習し、周波数領域における形状統合の事前知識 (周波数統合事前知識) を得るというものです。
目に見えない形状よりも先に学習された形状をより一般化するために、周波数成分を埋め込みとして表現し、低周波成分の埋め込みを全周波数成分の埋め込みから解きほぐす方法を導入します。
この解きほぐしにより、テスト時の自己再構成を通じて完全な周波数埋め込みを単純に回復するだけで、プリアが目に見えない低周波数観測を一般化できるようになります。
広く使用されているベンチマークや実際のシーンでの評価では、私たちの方法が高周波成分を回復し、最新の方法よりも正確な表面を生成できることが示されています。
コード、データ、事前トレーニングされたモデルは \url{https://github.com/chenchao15/FCP} で入手できます。

要約(オリジナル)

Signed Distance Functions (SDFs) are vital implicit representations to represent high fidelity 3D surfaces. Current methods mainly leverage a neural network to learn an SDF from various supervisions including signed distances, 3D point clouds, or multi-view images. However, due to various reasons including the bias of neural network on low frequency content, 3D unaware sampling, sparsity in point clouds, or low resolutions of images, neural implicit representations still struggle to represent geometries with high frequency components like sharp structures, especially for the ones learned from images or point clouds. To overcome this challenge, we introduce a method to sharpen a low frequency SDF observation by recovering its high frequency components, pursuing a sharper and more complete surface. Our key idea is to learn a mapping from a low frequency observation to a full frequency coverage in a data-driven manner, leading to a prior knowledge of shape consolidation in the frequency domain, dubbed frequency consolidation priors. To better generalize a learned prior to unseen shapes, we introduce to represent frequency components as embeddings and disentangle the embedding of the low frequency component from the embedding of the full frequency component. This disentanglement allows the prior to generalize on an unseen low frequency observation by simply recovering its full frequency embedding through a test-time self-reconstruction. Our evaluations under widely used benchmarks or real scenes show that our method can recover high frequency component and produce more accurate surfaces than the latest methods. The code, data, and pre-trained models are available at \url{https://github.com/chenchao15/FCP}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google