DN-Splatter: Depth and Normal Priors for Gaussian Splatting and Meshing

要約

新しい微分可能なレンダリング技術である 3D ガウス スプラッティングは、高いレンダリング速度と比較的短いトレーニング時間で最先端の新しいビュー合成結果を達成しました。
ただし、最適化中に幾何学的制約がないため、屋内データセットで一般的に見られるシーンでのパフォーマンスは低くなります。
深度および法線キューを使用して 3D ガウス スプラッティングを拡張して、困難な屋内データセットに取り組み、重要な下流アプリケーションである効率的なメッシュ抽出のためのテクニックを紹介します。
具体的には、深度情報を使用して最適化手順を正規化し、近くのガウスの局所的な滑らかさを強制し、法線キューによって管理された 3D ガウスのジオメトリを使用して、実際のシーンのジオメトリとのより良い位置合わせを実現します。
深さの推定と新しいビューの合成結果をベースラインよりも改善し、このシンプルかつ効果的な正則化手法を使用してガウス表現から直接メッシュを抽出し、屋内シーンでより物理的に正確な再構成を実現する方法を示します。
私たちのコードは https://github.com/maturk/dn-splatter でリリースされます。

要約(オリジナル)

3D Gaussian splatting, a novel differentiable rendering technique, has achieved state-of-the-art novel view synthesis results with high rendering speeds and relatively low training times. However, its performance on scenes commonly seen in indoor datasets is poor due to the lack of geometric constraints during optimization. We extend 3D Gaussian splatting with depth and normal cues to tackle challenging indoor datasets and showcase techniques for efficient mesh extraction, an important downstream application. Specifically, we regularize the optimization procedure with depth information, enforce local smoothness of nearby Gaussians, and use the geometry of the 3D Gaussians supervised by normal cues to achieve better alignment with the true scene geometry. We improve depth estimation and novel view synthesis results over baselines and show how this simple yet effective regularization technique can be used to directly extract meshes from the Gaussian representation yielding more physically accurate reconstructions on indoor scenes. Our code will be released in https://github.com/maturk/dn-splatter.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google