Improving Neural Radiance Field using Near-Surface Sampling with Point Cloud Generation

要約

Neural Radiance Field (NeRF) は、3 次元 (3D) 空間内の点をサンプリングし、それらの存在と色の確率を推定する新しいビュー合成方法です。
NeRF の欠点は、多くの 3D ポイントをサンプリングするため、長いトレーニング時間が必要なことです。
さらに、遮蔽された領域またはオブジェクトが存在する可能性が低い空間からポイントをサンプリングすると、NeRF のレンダリング品質が低下する可能性があります。
これらの問題は、3D シーンのジオメトリを推定することで解決できます。
この論文では、NeRF のレンダリング品質を向上させるための表面近傍サンプリング フレームワークを提案します。
この目的のために、提案手法はトレーニングセットの深度画像を使用して 3D オブジェクトの表面を推定し、その周囲のみサンプリングを実行します。
新しいビューの深度情報を取得するために、この論文では、3D点群生成方法と、点群から投影された深度の簡単な調整方法を提案します。
実験結果は、提案された表面近傍サンプリング NeRF フレームワークが、元の NeRF および最先端の深度ベースの NeRF 方法と比較して、レンダリング品質を大幅に向上できることを示しています。
さらに、提案された表面近傍サンプリング フレームワークを使用すると、NeRF モデルのトレーニング時間を大幅に短縮できます。

要約(オリジナル)

Neural radiance field (NeRF) is an emerging view synthesis method that samples points in a three-dimensional (3D) space and estimates their existence and color probabilities. The disadvantage of NeRF is that it requires a long training time since it samples many 3D points. In addition, if one samples points from occluded regions or in the space where an object is unlikely to exist, the rendering quality of NeRF can be degraded. These issues can be solved by estimating the geometry of 3D scene. This paper proposes a near-surface sampling framework to improve the rendering quality of NeRF. To this end, the proposed method estimates the surface of a 3D object using depth images of the training set and sampling is performed around there only. To obtain depth information on a novel view, the paper proposes a 3D point cloud generation method and a simple refining method for projected depth from a point cloud. Experimental results show that the proposed near-surface sampling NeRF framework can significantly improve the rendering quality, compared to the original NeRF and a state-of-the-art depth-based NeRF method. In addition, one can significantly accelerate the training time of a NeRF model with the proposed near-surface sampling framework.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google