EAGLES: Efficient Accelerated 3D Gaussians with Lightweight EncodingS

要約

最近、3D ガウス スプラッティング (3D-GS) がノベルビューのシーン合成で人気を集めています。
これは、Neural Radiance Fields (NeRF) に関連する長いトレーニング時間と遅いレンダリング速度という課題に対処します。
3D-GS は、3D ガウスの迅速かつ微分可能なラスター化を通じて、リアルタイム レンダリングと高速トレーニングを実現します。
ただし、各シーンの点群表現に数百万のガウス分布が必要なため、トレーニングとストレージの両方に大量のメモリ リソースが必要になります。
量子化埋め込みを利用してメモリ ストレージ要件を大幅に削減する手法と、ガウス点群をより高速かつ安定して最適化するための粗いトレーニング戦略を紹介します。
私たちのアプローチにより、ガウスと量子化された表現がより少ないシーン表現が得られ、高解像度シーンのリアルタイム レンダリングのトレーニング時間とレンダリング速度が向上します。
再構築の品質を維持しながら、メモリを 1 桁以上削減します。
さまざまなデータセットやシーンに対するアプローチの有効性を検証し、視覚的な品質を維持しながらメモリ消費量を 10 ～ 20 分の 1 に削減し、トレーニング/推論速度を高速化します。
プロジェクト ページとコードは https://efficientgaussian.github.io から入手できます。

要約(オリジナル)

Recently, 3D Gaussian splatting (3D-GS) has gained popularity in novel-view scene synthesis. It addresses the challenges of lengthy training times and slow rendering speeds associated with Neural Radiance Fields (NeRFs). Through rapid, differentiable rasterization of 3D Gaussians, 3D-GS achieves real-time rendering and accelerated training. They, however, demand substantial memory resources for both training and storage, as they require millions of Gaussians in their point cloud representation for each scene. We present a technique utilizing quantized embeddings to significantly reduce memory storage requirements and a coarse-to-fine training strategy for a faster and more stable optimization of the Gaussian point clouds. Our approach results in scene representations with fewer Gaussians and quantized representations, leading to faster training times and rendering speeds for real-time rendering of high resolution scenes. We reduce memory by more than an order of magnitude all while maintaining the reconstruction quality. We validate the effectiveness of our approach on a variety of datasets and scenes preserving the visual quality while consuming 10-20x less memory and faster training/inference speed. Project page and code is available https://efficientgaussian.github.io

arxiv情報

提供元, 利用サービス

arxiv.jp, Google