PDF: Point Diffusion Implicit Function for Large-scale Scene Neural Representation

要約

最近の暗黙的神経表現の進歩は、サンプリング空間内のサンプリング光線に沿って個々の点をサンプリングし、融合することによって、印象的な結果を達成している。しかし、サンプリング空間が爆発的に増大するため、境界のない大規模な屋外シーンでは、詳細なテクスチャをきめ細かく表現し合成することは依然として困難である。個々の点を用いて巨大な空間全体を認識するというジレンマを緩和するために、我々は、構造的な事前分布を提供し、サンプリング可能な空間を縮小するために、シーンの表面分布を学習することを探求し、大規模なシーンの神経表現のための点拡散陰関数（PDF）を提案する。本手法の核となるのは、大規模点群超解像拡散モジュールであり、複数の訓練画像から再構成された疎な点群を、明示的な事前分布として密な点群に拡張する。そしてレンダリング段階では、サンプリング半径内にある先行点を持つサンプリング点のみが保持される。つまり、サンプリング空間は無境界空間からシーン表面に縮小される。一方、点群によって提供できないシーンの背景を埋めるために、Mip-NeRF 360に基づく領域サンプリングが背景表現のモデルとして採用される。大規模なシーンノベルビュー合成に対する我々の手法の有効性は、高価な実験により実証されており、関連する最新のベースラインを凌駕している。

要約(オリジナル)

Recent advances in implicit neural representations have achieved impressive results by sampling and fusing individual points along sampling rays in the sampling space. However, due to the explosively growing sampling space, finely representing and synthesizing detailed textures remains a challenge for unbounded large-scale outdoor scenes. To alleviate the dilemma of using individual points to perceive the entire colossal space, we explore learning the surface distribution of the scene to provide structural priors and reduce the samplable space and propose a Point Diffusion implicit Function, PDF, for large-scale scene neural representation. The core of our method is a large-scale point cloud super-resolution diffusion module that enhances the sparse point cloud reconstructed from several training images into a dense point cloud as an explicit prior. Then in the rendering stage, only sampling points with prior points within the sampling radius are retained. That is, the sampling space is reduced from the unbounded space to the scene surface. Meanwhile, to fill in the background of the scene that cannot be provided by point clouds, the region sampling based on Mip-NeRF 360 is employed to model the background representation. Expensive experiments have demonstrated the effectiveness of our method for large-scale scene novel view synthesis, which outperforms relevant state-of-the-art baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL