RetinaGS: Scalable Training for Dense Scene Rendering with Billion-Scale 3D Gaussians

要約

この研究では、大規模で高解像度のデータセット上で高パラメータ 3D ガウス スプラッティング (3DGS) モデルをトレーニングする可能性を探ります。
私たちは、RetinaGS という 3DGS 用の一般的なモデル並列トレーニング方法を設計します。これは、適切なレンダリング方程式を使用し、任意のシーンおよびガウス プリミティブの任意の分布に適用できます。
これにより、以前は調査が困難であったプリミティブ数とトレーニング解像度の観点から 3DGS のスケーリング動作を調査し、以前の最先端の再構築品質を超えることが可能になります。
私たちの方法でプリミティブ数を増やすと、視覚的な品質が向上するという明確な肯定的な傾向が観察されます。
また、完全な MatrixCity データセット上で 10 億を超えるプリミティブを使用して 3DGS モデルをトレーニングし、有望な視覚的品質を達成する最初の試みも示します。

要約(オリジナル)

In this work, we explore the possibility of training high-parameter 3D Gaussian splatting (3DGS) models on large-scale, high-resolution datasets. We design a general model parallel training method for 3DGS, named RetinaGS, which uses a proper rendering equation and can be applied to any scene and arbitrary distribution of Gaussian primitives. It enables us to explore the scaling behavior of 3DGS in terms of primitive numbers and training resolutions that were difficult to explore before and surpass previous state-of-the-art reconstruction quality. We observe a clear positive trend of increasing visual quality when increasing primitive numbers with our method. We also demonstrate the first attempt at training a 3DGS model with more than one billion primitives on the full MatrixCity dataset that attains a promising visual quality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google