Spectrally Pruned Gaussian Fields with Neural Compensation

要約

近年、その高速な描画速度と高い描画品質により、新しい3D表現として「3Dガウシアン・スプラッティング」が注目を集めています。
ただし、これには大量のメモリ消費が伴います。たとえば、よく訓練されたガウス フィールドでは、300 万のガウス プリミティブと 700 MB を超えるメモリが使用される可能性があります。
この高いメモリ使用量は、プリミティブ間の関係が考慮されていないことが原因であると考えられます。
この論文では、スペクトル刈り込みと神経補償を備えた SUNDAE という名前のメモリ効率の高いガウス場を提案します。
一方で、ガウス プリミティブのセットに関するグラフを構築してそれらの関係をモデル化し、必要な信号を維持しながらプリミティブを取り除くスペクトル ダウンサンプリング モジュールを設計します。
一方、ガウシアンの枝刈りによる品質損失を補うために、軽量ニューラル ネットワーク ヘッドを利用してスプラッティングされた特徴を混合します。これにより、重みのプリミティブ間の関係をキャプチャしながら品質損失を効果的に補います。
豊富な実績でSUNDAEのパフォーマンスを実証します。
たとえば、SUNDAE は、Mip-NeRF360 データセット上で、104 MB メモリを使用して 145 FPS で 26.80 PSNR を達成できますが、バニラ ガウス スプラッティング アルゴリズムは、523 MB メモリを使用して 160 FPS で 25.60 PSNR を達成します。
コードは https://runyiyang.github.io/projects/SUNDAE/ で公開されています。

要約(オリジナル)

Recently, 3D Gaussian Splatting, as a novel 3D representation, has garnered attention for its fast rendering speed and high rendering quality. However, this comes with high memory consumption, e.g., a well-trained Gaussian field may utilize three million Gaussian primitives and over 700 MB of memory. We credit this high memory footprint to the lack of consideration for the relationship between primitives. In this paper, we propose a memory-efficient Gaussian field named SUNDAE with spectral pruning and neural compensation. On one hand, we construct a graph on the set of Gaussian primitives to model their relationship and design a spectral down-sampling module to prune out primitives while preserving desired signals. On the other hand, to compensate for the quality loss of pruning Gaussians, we exploit a lightweight neural network head to mix splatted features, which effectively compensates for quality losses while capturing the relationship between primitives in its weights. We demonstrate the performance of SUNDAE with extensive results. For example, SUNDAE can achieve 26.80 PSNR at 145 FPS using 104 MB memory while the vanilla Gaussian splatting algorithm achieves 25.60 PSNR at 160 FPS using 523 MB memory, on the Mip-NeRF360 dataset. Codes are publicly available at https://runyiyang.github.io/projects/SUNDAE/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google