TSDF-Sampling: Efficient Sampling for Neural Surface Field using Truncated Signed Distance Field

要約

多視点からの神経表面再構築は印象的な結果を示しました。
ただし、注目すべき制限は、主にレンダリング品質を維持するために必要な高密度サンプリングに起因する、従来の手法と比較した場合の推論時間が法外に遅いことです。
このペーパーでは、シーンの Truncated Signed Distance Field (TSDF) を組み込むことで、サンプリング数を大幅に削減する新しいアプローチを紹介します。
以前の研究では重要なサンプリングが提案されていましたが、空間全体にわたる初期の均一なサンプルに依存するため、より少ない数のサンプルを使用しようとするとパフォーマンスの低下を避けることができません。
対照的に、私たちの方法は、トレーニングされたビューによってのみ生成された TSDF ボリュームを利用し、今後の新しいビューからのサンプリングに合理的な制限を提供することが証明されています。
その結果、TSDF ボリュームによって与えられた範囲内で継続的なニューラル SDF 推定を最大限に活用することで、高いレンダリング品質を実現します。
特に、私たちの方法は、ボリュームレンダリング技術を使用している限り、さまざまな神経表面フィールドモデルに堅牢にプラグアンドプレイできる最初のアプローチです。
私たちの経験的結果は、パフォーマンスを損なうことなく推論速度が 11 倍向上することを示しています。
結果のビデオはプロジェクト ページでご覧いただけます: https://tsdf-sampling.github.io/

要約(オリジナル)

Multi-view neural surface reconstruction has exhibited impressive results. However, a notable limitation is the prohibitively slow inference time when compared to traditional techniques, primarily attributed to the dense sampling, required to maintain the rendering quality. This paper introduces a novel approach that substantially reduces the number of samplings by incorporating the Truncated Signed Distance Field (TSDF) of the scene. While prior works have proposed importance sampling, their dependence on initial uniform samples over the entire space makes them unable to avoid performance degradation when trying to use less number of samples. In contrast, our method leverages the TSDF volume generated only by the trained views, and it proves to provide a reasonable bound on the sampling from upcoming novel views. As a result, we achieve high rendering quality by fully exploiting the continuous neural SDF estimation within the bounds given by the TSDF volume. Notably, our method is the first approach that can be robustly plug-and-play into a diverse array of neural surface field models, as long as they use the volume rendering technique. Our empirical results show an 11-fold increase in inference speed without compromising performance. The result videos are available at our project page: https://tsdf-sampling.github.io/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google