Does Gaussian Splatting need SFM Initialization?

要約

3D ガウス スプラッティングは、その高品質な結果とハードウェア ラスター化との互換性により、シーンの再構築と新しいビューの合成のための多用途かつ効果的な方法として最近採用されています。
ガウス スプラッティングはその利点にもかかわらず、Structure-from-Motion (SFM) アルゴリズムによる高品質の点群初期化に依存しているため、克服すべき重大な制限があります。
この目的を達成するために、ガウス スプラッティングのさまざまな初期化戦略を調査し、Neural Radiance Fields (NeRF) からのボリューム再構成を利用して SFM データへの依存を回避する方法を詳しく掘り下げます。
私たちの調査結果は、慎重に設計すればランダム初期化のパフォーマンスが大幅に向上すること、および改良された初期化戦略と低コスト NeRF モデルからの構造蒸留の組み合わせを採用することで、得られた結果と同等、または場合によってはそれよりも優れた結果を達成できることを示しています。
SFM の初期化から。

要約(オリジナル)

3D Gaussian Splatting has recently been embraced as a versatile and effective method for scene reconstruction and novel view synthesis, owing to its high-quality results and compatibility with hardware rasterization. Despite its advantages, Gaussian Splatting’s reliance on high-quality point cloud initialization by Structure-from-Motion (SFM) algorithms is a significant limitation to be overcome. To this end, we investigate various initialization strategies for Gaussian Splatting and delve into how volumetric reconstructions from Neural Radiance Fields (NeRF) can be utilized to bypass the dependency on SFM data. Our findings demonstrate that random initialization can perform much better if carefully designed and that by employing a combination of improved initialization strategies and structure distillation from low-cost NeRF models, it is possible to achieve equivalent results, or at times even superior, to those obtained from SFM initialization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google