FlexGS: Train Once, Deploy Everywhere with Many-in-One Flexible 3D Gaussian Splatting

要約

3Dガウス・スプラッティング(3DGS)は、その効率的なレンダリング能力により、3Dシーン表現や斬新なビュー合成における様々なアプリケーションを可能にしている。しかし、3DGSは比較的大きなGPUメモリを必要とするため、計算リソースが制限されたデバイスでの使用が制限されます。これまでのアプローチでは、重要度の低いガウシアンの刈り込みに焦点を当て、3DGSを効果的に圧縮してきたが、多くの場合、微調整段階を必要とし、異なるデバイスの特定のメモリニーズに対する適応性に欠けていた。本研究では、3DGSのための弾性推論手法を提案する。希望するモデルサイズの入力が与えられると、本手法はガウシアンのサブセットを選択して変換し、追加的な微調整なしに実質的なレンダリング性能を達成する。入力の割合に基づいてガウシアンの選択を制御する学習可能な小さなモジュールと、選択されたガウシアンを調整して縮小モデルの性能を補完する変換モジュールを導入する。ZipNeRF、MipNeRF、Tanks&Templesシーンでの包括的な実験により、我々のアプローチの有効性を実証する。コードはhttps://flexgs.github.io。

要約(オリジナル)

3D Gaussian splatting (3DGS) has enabled various applications in 3D scene representation and novel view synthesis due to its efficient rendering capabilities. However, 3DGS demands relatively significant GPU memory, limiting its use on devices with restricted computational resources. Previous approaches have focused on pruning less important Gaussians, effectively compressing 3DGS but often requiring a fine-tuning stage and lacking adaptability for the specific memory needs of different devices. In this work, we present an elastic inference method for 3DGS. Given an input for the desired model size, our method selects and transforms a subset of Gaussians, achieving substantial rendering performance without additional fine-tuning. We introduce a tiny learnable module that controls Gaussian selection based on the input percentage, along with a transformation module that adjusts the selected Gaussians to complement the performance of the reduced model. Comprehensive experiments on ZipNeRF, MipNeRF and Tanks\&Temples scenes demonstrate the effectiveness of our approach. Code is available at https://flexgs.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL