AGG: Amortized Generative 3D Gaussians for Single Image to 3D

要約

自動 3D コンテンツ作成パイプラインのニーズが高まっていることを考慮して、単一の画像から 3D オブジェクトを生成するためのさまざまな 3D 表現が研究されてきました。
3D ガウス スプラッティング ベースのモデルは、その優れたレンダリング効率により、3D 再構成と生成の両方で最近優れています。
画像を 3D 生成するための 3D ガウス スプラッティング アプローチは、多くの場合最適化ベースであり、多くの計算コストのかかるスコア抽出ステップを必要とします。
これらの課題を克服するために、単一の画像から 3D ガウスを即座に生成する Amortized Generative 3D Gaussian フレームワーク (AGG) を導入し、インスタンスごとの最適化の必要性を排除します。
AGG は、中間ハイブリッド表現を利用して、3D ガウス位置の生成とその他の外観属性を分解して結合を最適化します。
さらに、最初に 3D データの粗い表現を生成し、その後 3D ガウス超解像度モジュールでそれをアップサンプリングするカスケード パイプラインを提案します。
私たちの手法は、既存の最適化ベースの 3D ガウス フレームワークと、他の 3D 表現を利用したサンプリングベースのパイプラインに対して評価されます。AGG は、数桁高速でありながら、定性的および定量的の両方で競争力のある生成能力を示しています。
プロジェクトページ：https://ir1d.github.io/AGG/

要約(オリジナル)

Given the growing need for automatic 3D content creation pipelines, various 3D representations have been studied to generate 3D objects from a single image. Due to its superior rendering efficiency, 3D Gaussian splatting-based models have recently excelled in both 3D reconstruction and generation. 3D Gaussian splatting approaches for image to 3D generation are often optimization-based, requiring many computationally expensive score-distillation steps. To overcome these challenges, we introduce an Amortized Generative 3D Gaussian framework (AGG) that instantly produces 3D Gaussians from a single image, eliminating the need for per-instance optimization. Utilizing an intermediate hybrid representation, AGG decomposes the generation of 3D Gaussian locations and other appearance attributes for joint optimization. Moreover, we propose a cascaded pipeline that first generates a coarse representation of the 3D data and later upsamples it with a 3D Gaussian super-resolution module. Our method is evaluated against existing optimization-based 3D Gaussian frameworks and sampling-based pipelines utilizing other 3D representations, where AGG showcases competitive generation abilities both qualitatively and quantitatively while being several orders of magnitude faster. Project page: https://ir1d.github.io/AGG/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google