PermutoSDF: Fast Multi-View Reconstruction with Implicit Surfaces using Permutohedral Lattices

要約

ニューラル放射密度フィールド法は、新規ビュー レンダリングのタスクでますます一般的になっています。
ハッシュベースの位置エンコーディングへの最近の拡張により、視覚的に満足できる結果で高速なトレーニングと推論が保証されます。
ただし、密度ベースの方法では、正確なサーフェス ジオメトリを復元するのに苦労します。
ハイブリッド メソッドは、基盤となる SDF に基づいて密度を最適化することで、この問題を軽減します。
ただし、現在の SDF メソッドは過度に滑らかで、細かい幾何学的詳細を見逃しています。
この作業では、これら 2 つの作業ラインの長所を組み合わせて、新しいハッシュベースの暗黙的な表面表現を作成します。
ボクセル ハッシュ エンコーディングを、特に高次元でより高速に最適化するパームトヘドラル ラティスに置き換えることにより、2 つの領域の改善を提案します。
さらに、高周波の幾何学的詳細を回復するために重要な正則化スキームを提案します。
複数のデータセットでこの方法を評価し、監視に RGB 画像のみを使用しながら、毛穴やしわのレベルで幾何学的詳細を復元できることを示します。
さらに、球体トレーシングを使用して、RTX 3090 で 30 fps で新しいビューをレンダリングできます。コードは、https://radualexandru.github.io/permuto_sdf で公開されています。

要約(オリジナル)

Neural radiance-density field methods have become increasingly popular for the task of novel-view rendering. Their recent extension to hash-based positional encoding ensures fast training and inference with visually pleasing results. However, density-based methods struggle with recovering accurate surface geometry. Hybrid methods alleviate this issue by optimizing the density based on an underlying SDF. However, current SDF methods are overly smooth and miss fine geometric details. In this work, we combine the strengths of these two lines of work in a novel hash-based implicit surface representation. We propose improvements to the two areas by replacing the voxel hash encoding with a permutohedral lattice which optimizes faster, especially for higher dimensions. We additionally propose a regularization scheme which is crucial for recovering high-frequency geometric detail. We evaluate our method on multiple datasets and show that we can recover geometric detail at the level of pores and wrinkles while using only RGB images for supervision. Furthermore, using sphere tracing we can render novel views at 30 fps on an RTX 3090. Code is publicly available at: https://radualexandru.github.io/permuto_sdf

arxiv情報

提供元, 利用サービス

arxiv.jp, Google