ELMGS: Enhancing memory and computation scaLability through coMpression for 3D Gaussian Splatting

要約

3D モデルは、最初は Neural Radiance Fields、最近では 3D Gaussian Splatting モデルによって提供されるエンドツーエンドのトレーニングの可能性により、最近普及しました。
後者には、トレーニングの収束が速く、編集可能性が高いという大きな利点があります。
ただし、これらに関する研究はまだ初期段階にあるため、モデルのスケーラビリティに関する文献にはまだギャップがあります。
この研究では、そのようなモデルのメモリと計算の両方のスケーラビリティを可能にするアプローチを提案します。
より具体的には、モデル内にエンコードされた冗長な情報を削除する反復的な枝刈り戦略を提案します。
また、微分可能な量子化およびエントロピーコーディング推定器を最適化戦略に組み込むことで、モデルの圧縮性も強化します。
一般的なベンチマークに関する私たちの結果は、提案されたアプローチの有効性を示しており、リソースに制約のあるデバイスでもそのようなソリューションを幅広く展開できる道を開きます。

要約(オリジナル)

3D models have recently been popularized by the potentiality of end-to-end training offered first by Neural Radiance Fields and most recently by 3D Gaussian Splatting models. The latter has the big advantage of naturally providing fast training convergence and high editability. However, as the research around these is still in its infancy, there is still a gap in the literature regarding the model’s scalability. In this work, we propose an approach enabling both memory and computation scalability of such models. More specifically, we propose an iterative pruning strategy that removes redundant information encoded in the model. We also enhance compressibility for the model by including in the optimization strategy a differentiable quantization and entropy coding estimator. Our results on popular benchmarks showcase the effectiveness of the proposed approach and open the road to the broad deployability of such a solution even on resource-constrained devices.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google