On Scaling Up 3D Gaussian Splatting Training

要約

3D ガウス スプラッティング (3DGS) は、その優れたビジュアル品質とレンダリング速度により、3D 再構成での人気が高まっています。
ただし、3DGS トレーニングは現在単一の GPU で実行されており、メモリの制約により高解像度および大規模な 3D 再構成タスクを処理する能力が制限されています。
3DGS パラメーターを分割し、複数の GPU 間で計算を並列化するように設計された分散システムである Grendel を紹介します。
各ガウスはレンダリングされたピクセルの小さく動的サブセットに影響を与えるため、グレンデルはスパースな全対全通信を使用して必要なガウスをピクセル パーティションに転送し、動的な負荷分散を実行します。
一度に 1 つのカメラ ビュー画像を使用してトレーニングする既存の 3DGS システムとは異なり、Grendel は複数のビューを使用したバッチ トレーニングをサポートします。
さまざまな最適化ハイパーパラメータ スケーリング戦略を検討し、単純な sqrt(バッチ サイズ) スケーリング ルールが非常に効果的であることを発見しました。
大規模な高解像度シーンを使用した評価では、Grendel が複数の GPU 全体で 3DGS パラメータをスケールアップすることでレンダリング品質を向上させていることがわかります。
Rubble データセットでは、16 の GPU に 4,040 万のガウスを分散することで 27.28 のテスト PSNR を達成しました。これに対し、単一 GPU で 1,120 万のガウスを使用した場合の PSNR は 26.28 でした。
Grendel は、https://github.com/nyu-systems/Grendel-GS で入手できるオープンソース プロジェクトです。

要約(オリジナル)

3D Gaussian Splatting (3DGS) is increasingly popular for 3D reconstruction due to its superior visual quality and rendering speed. However, 3DGS training currently occurs on a single GPU, limiting its ability to handle high-resolution and large-scale 3D reconstruction tasks due to memory constraints. We introduce Grendel, a distributed system designed to partition 3DGS parameters and parallelize computation across multiple GPUs. As each Gaussian affects a small, dynamic subset of rendered pixels, Grendel employs sparse all-to-all communication to transfer the necessary Gaussians to pixel partitions and performs dynamic load balancing. Unlike existing 3DGS systems that train using one camera view image at a time, Grendel supports batched training with multiple views. We explore various optimization hyperparameter scaling strategies and find that a simple sqrt(batch size) scaling rule is highly effective. Evaluations using large-scale, high-resolution scenes show that Grendel enhances rendering quality by scaling up 3DGS parameters across multiple GPUs. On the Rubble dataset, we achieve a test PSNR of 27.28 by distributing 40.4 million Gaussians across 16 GPUs, compared to a PSNR of 26.28 using 11.2 million Gaussians on a single GPU. Grendel is an open-source project available at: https://github.com/nyu-systems/Grendel-GS

arxiv情報

提供元, 利用サービス

arxiv.jp, Google