3D Convex Splatting: Radiance Field Rendering with 3D Smooth Convexes

要約

3D ガウス スプラッティング (3DGS) などの放射フィールド再構成の最近の進歩により、ガウス プリミティブの合成でシーンを表現することにより、高品質の新規ビュー合成と高速レンダリングが達成されました。
ただし、3D ガウスにはシーンの再構築にいくつかの制限があります。
ハード エッジを正確にキャプチャすることは、ガウス数を大幅に増やしてメモリ使用量を大きくせずに行うことは困難です。
さらに、空間に拡散しているため、平面を表現するのが困難です。
手作りのレギュラライザーがないと、実際のサーフェスの周囲に不規則に分散する傾向があります。
これらの問題を回避するために、我々は 3D Convex Splatting (3DCS) と呼ばれる新しい方法を導入します。これは、多視点画像から幾何学的に意味のある放射フィールドをモデル化するためのプリミティブとして 3D 滑らかな凸面を利用します。
滑らかな凸形状はガウス形状よりも高い柔軟性を提供し、より少ないプリミティブを使用してハード エッジと密なボリュームを持つ 3D シーンをより適切に表現できます。
効率的な CUDA ベースのラスタライザーを活用した 3DCS は、Mip-NeRF360、タンクとテンプル、ディープ ブレンディングなどのベンチマークで 3DGS よりも優れたパフォーマンスを実現します。
具体的には、私たちの方法は、高いレンダリング速度を維持し、必要なプリミティブの数を減らしながら、3DGS と比較して PSNR で最大 0.81、LPIPS で 0.026 の改善を達成します。
私たちの結果は、3D Convex Splatting が高品質のシーン再構築と新しいビュー合成の新しい標準となる可能性を強調しています。
プロジェクトページ: www.convexsplatting.com。

要約(オリジナル)

Recent advances in radiance field reconstruction, such as 3D Gaussian Splatting (3DGS), have achieved high-quality novel view synthesis and fast rendering by representing scenes with compositions of Gaussian primitives. However, 3D Gaussians present several limitations for scene reconstruction. Accurately capturing hard edges is challenging without significantly increasing the number of Gaussians, creating a large memory footprint. Moreover, they struggle to represent flat surfaces, as they are diffused in space. Without hand-crafted regularizers, they tend to disperse irregularly around the actual surface. To circumvent these issues, we introduce a novel method, named 3D Convex Splatting (3DCS), which leverages 3D smooth convexes as primitives for modeling geometrically-meaningful radiance fields from multi-view images. Smooth convex shapes offer greater flexibility than Gaussians, allowing for a better representation of 3D scenes with hard edges and dense volumes using fewer primitives. Powered by our efficient CUDA-based rasterizer, 3DCS achieves superior performance over 3DGS on benchmarks such as Mip-NeRF360, Tanks and Temples, and Deep Blending. Specifically, our method attains an improvement of up to 0.81 in PSNR and 0.026 in LPIPS compared to 3DGS while maintaining high rendering speeds and reducing the number of required primitives. Our results highlight the potential of 3D Convex Splatting to become the new standard for high-quality scene reconstruction and novel view synthesis. Project page: www.convexsplatting.com.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google