Compact 3D Gaussian Representation for Radiance Field

要約

Neural Radiance Fields (NeRF) は、複雑な 3D シーンを高い忠実度でキャプチャする際に顕著な可能性を示しています。
ただし、NeRF の広範な導入を妨げる永続的な課題の 1 つは、ボリューム レンダリングによる計算のボトルネックです。
一方、3D ガウス スプラッティング (3DGS) は、3D ガウス ベースの表現を利用し、ボリューム レンダリングではなくラスタライゼーション パイプラインを採用して画像をレンダリングする代替表現として最近登場し、非常に高速なレンダリング速度と期待できる画質を実現します。
ただし、3DGS ではレンダリングされたイメージの忠実度を維持するためにかなりの数の 3D ガウスが必要となり、大量のメモリとストレージが必要となるため、重大な欠点が生じます。
この重大な問題に対処するために、パフォーマンスを犠牲にすることなくガウス ポイントの数を減らすことと、ビュー依存の色や共分散などのガウス属性を圧縮するという 2 つの重要な目標に特に重点を置きます。
この目的を達成するために、高いパフォーマンスを維持しながらガウス数を大幅に削減する学習可能なマスク戦略を提案します。
さらに、球面調和関数に依存するのではなく、グリッドベースのニューラルフィールドを使用することにより、ビュー依存の色のコンパクトかつ効果的な表現を提案します。
最後に、ベクトル量子化によってガウスの幾何学的属性をコンパクトに表現するためのコードブックを学習します。
量子化やエントロピー コーディングなどのモデル圧縮技術を使用すると、3DGS と比較して、シーン表現の品質を維持しながら、ストレージが 25$\times$ 削減され、レンダリング速度が向上することが一貫して示されています。
私たちの取り組みは、3D シーン表現のための包括的なフレームワークを提供し、高性能、高速トレーニング、コンパクトさ、リアルタイム レンダリングを実現します。
私たちのプロジェクト ページは https://maincold2.github.io/c3dgs/ から入手できます。

要約(オリジナル)

Neural Radiance Fields (NeRFs) have demonstrated remarkable potential in capturing complex 3D scenes with high fidelity. However, one persistent challenge that hinders the widespread adoption of NeRFs is the computational bottleneck due to the volumetric rendering. On the other hand, 3D Gaussian splatting (3DGS) has recently emerged as an alternative representation that leverages a 3D Gaussisan-based representation and adopts the rasterization pipeline to render the images rather than volumetric rendering, achieving very fast rendering speed and promising image quality. However, a significant drawback arises as 3DGS entails a substantial number of 3D Gaussians to maintain the high fidelity of the rendered images, which requires a large amount of memory and storage. To address this critical issue, we place a specific emphasis on two key objectives: reducing the number of Gaussian points without sacrificing performance and compressing the Gaussian attributes, such as view-dependent color and covariance. To this end, we propose a learnable mask strategy that significantly reduces the number of Gaussians while preserving high performance. In addition, we propose a compact but effective representation of view-dependent color by employing a grid-based neural field rather than relying on spherical harmonics. Finally, we learn codebooks to compactly represent the geometric attributes of Gaussian by vector quantization. With model compression techniques such as quantization and entropy coding, we consistently show over 25$\times$ reduced storage and enhanced rendering speed, while maintaining the quality of the scene representation, compared to 3DGS. Our work provides a comprehensive framework for 3D scene representation, achieving high performance, fast training, compactness, and real-time rendering. Our project page is available at https://maincold2.github.io/c3dgs/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google