Optimized 3D Gaussian Splatting using Coarse-to-Fine Image Frequency Modulation

要約

新規ビュー統合の分野は、3Dガウススプラッティング（3DG）によって革命されており、リアルタイムでレンダリングできる高品質のシーン再構成を可能にします。
3DGSベースの手法は、通常、消費者グレードのデバイスでの実用的なアプリケーションを制限する高いGPUメモリおよびディスクストレージ要件に悩まされています。
Opti3DGSを提案します。これは、シーンを表すために使用されるガウスプリミティブの数を最小限に抑えることを目的とした新しい周波数変調粗変調粗から洗練された最適化フレームワークであり、メモリとストレージの要求を減らすことを目的としています。
OPTI3DGSは画像の周波数変調を活用し、最初は粗いシーン表現を実施し、トレーニング画像の周波数の詳細を変調することで徐々に改良します。
ベースライン3DGSでは、ガウスの平均62％の減少、トレーニングGPUメモリ要件の40％の削減、視覚品質を犠牲にすることなく最適化時間の20％の短縮を示します。
さらに、私たちの方法は、多くの3DGSベースの技術とシームレスに統合され、視覚的品質を維持しながらガウスプリミティブの数を一貫して削減することを示しています。
さらに、Opti3DGは、追加のコストなしで、最適化パイプラインの自然な副産物である追加のレベルのシーン表現を本質的に生成します。
結果とコードは公開されます。

要約(オリジナル)

The field of Novel View Synthesis has been revolutionized by 3D Gaussian Splatting (3DGS), which enables high-quality scene reconstruction that can be rendered in real-time. 3DGS-based techniques typically suffer from high GPU memory and disk storage requirements which limits their practical application on consumer-grade devices. We propose Opti3DGS, a novel frequency-modulated coarse-to-fine optimization framework that aims to minimize the number of Gaussian primitives used to represent a scene, thus reducing memory and storage demands. Opti3DGS leverages image frequency modulation, initially enforcing a coarse scene representation and progressively refining it by modulating frequency details in the training images. On the baseline 3DGS, we demonstrate an average reduction of 62% in Gaussians, a 40% reduction in the training GPU memory requirements and a 20% reduction in optimization time without sacrificing the visual quality. Furthermore, we show that our method integrates seamlessly with many 3DGS-based techniques, consistently reducing the number of Gaussian primitives while maintaining, and often improving, visual quality. Additionally, Opti3DGS inherently produces a level-of-detail scene representation at no extra cost, a natural byproduct of the optimization pipeline. Results and code will be made publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google