Bootstrap 3D Reconstructed Scenes from 3D Gaussian Splatting

要約

ニューラル レンダリング技術の最近の開発により、学術分野と商業分野の両方でフォトリアルな 3D シーンのレンダリングが大幅に強化されました。
3D ガウス スプラッティング (3D-GS) として知られる最新の手法は、レンダリングの品質と速度の新しいベンチマークを設定しました。
それにもかかわらず、3D-GS の限界は、特にトレーニング中に見られたビューから大きく逸脱したビューの場合、新しい視点を合成する際に顕著になります。
さらに、ズームインまたはズームアウトすると、膨張やエイリアシングなどの問題が発生します。
これらの課題はすべて、サンプリングが不十分であるという 1 つの根本的な問題に遡ることができます。
私たちの論文では、この問題に大きく対処するブートストラップ手法を紹介します。
このアプローチでは、拡散モデルを採用し、トレーニングされた 3D-GS を使用して新しいビューのレンダリングを強化し、それによってトレーニング プロセスを合理化します。
私たちの結果は、ブートストラップがアーティファクトを効果的に削減するだけでなく、評価指標が明らかに強化されることを示しています。
さらに、私たちの方法は多用途であり、簡単に統合でき、さまざまな 3D 再構成プロジェクトが私たちのアプローチから恩恵を受けることができることを示します。

要約(オリジナル)

Recent developments in neural rendering techniques have greatly enhanced the rendering of photo-realistic 3D scenes across both academic and commercial fields. The latest method, known as 3D Gaussian Splatting (3D-GS), has set new benchmarks for rendering quality and speed. Nevertheless, the limitations of 3D-GS become pronounced in synthesizing new viewpoints, especially for views that greatly deviate from those seen during training. Additionally, issues such as dilation and aliasing arise when zooming in or out. These challenges can all be traced back to a single underlying issue: insufficient sampling. In our paper, we present a bootstrapping method that significantly addresses this problem. This approach employs a diffusion model to enhance the rendering of novel views using trained 3D-GS, thereby streamlining the training process. Our results indicate that bootstrapping effectively reduces artifacts, as well as clear enhancements on the evaluation metrics. Furthermore, we show that our method is versatile and can be easily integrated, allowing various 3D reconstruction projects to benefit from our approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google