GS-LRM: Large Reconstruction Model for 3D Gaussian Splatting

要約

我々は、単一の A100 GPU で 2 ～ 4 枚のポーズをとったスパース画像から高品質の 3D ガウス プリミティブを 0.23 秒で予測できる、スケーラブルな大規模再構成モデ​​ルである GS-LRM を提案します。
私たちのモデルは、非常にシンプルなトランスベースのアーキテクチャを特徴としています。
入力ポーズ画像をパッチし、連結されたマルチビュー画像トークンを一連のトランスフォーマー ブロックに渡し、微分可能なレンダリングのためにこれらのトークンから最終的なピクセルごとのガウス パラメーターを直接デコードします。
ピクセルごとのガウス分布を予測することでオブジェクトを再構成することしかできない以前の LRM とは対照的に、GS-LRM はスケールと複雑さが大きく異なるシーンを自然に処理します。
モデルを Objaverse と RealEstate10K でそれぞれトレーニングすることにより、オブジェクト キャプチャとシーン キャプチャの両方で機能することを示します。
どちらのシナリオでも、モデルは最先端のベースラインを大幅に上回っています。
また、下流の 3D 生成タスクにおけるモデルのアプリケーションも示します。
私たちのプロジェクトの Web ページは https://sai-bi.github.io/project/gs-lrm/ から入手できます。

要約(オリジナル)

We propose GS-LRM, a scalable large reconstruction model that can predict high-quality 3D Gaussian primitives from 2-4 posed sparse images in 0.23 seconds on single A100 GPU. Our model features a very simple transformer-based architecture; we patchify input posed images, pass the concatenated multi-view image tokens through a sequence of transformer blocks, and decode final per-pixel Gaussian parameters directly from these tokens for differentiable rendering. In contrast to previous LRMs that can only reconstruct objects, by predicting per-pixel Gaussians, GS-LRM naturally handles scenes with large variations in scale and complexity. We show that our model can work on both object and scene captures by training it on Objaverse and RealEstate10K respectively. In both scenarios, the models outperform state-of-the-art baselines by a wide margin. We also demonstrate applications of our model in downstream 3D generation tasks. Our project webpage is available at: https://sai-bi.github.io/project/gs-lrm/ .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google