GaussianDreamerPro: Text to Manipulable 3D Gaussians with Highly Enhanced Quality

要約

最近、3D ガウス スプラッティング (3D-GS) は、現実世界のシーンの再構築とレンダリングにおいて大きな成功を収めています。
高いレンダリング品質を生成タスクに移すために、一連の研究作業ではテキストから 3D ガウス アセットを生成することが試みられています。
ただし、生成されたアセットは、再構築タスクのアセットと同じ品質には達していません。
ガウス分布は生成プロセスによって不確定性が生じる可能性があるため、制御不能に成長する傾向があることが観察されています。
生成品質の高度な向上を目指して、私たちは GaussianDreamerPro という新しいフレームワークを提案します。
主なアイデアは、ガウスを合理的なジオメトリにバインドすることであり、生成プロセス全体にわたって進化します。
フレームワークのさまざまな段階に沿って、ジオメトリと外観の両方を徐々に充実させることができます。
最終的な出力アセットは、メッシュにバインドされた 3D ガウスで構築され、以前の方法と比較してディテールと品質が大幅に向上しています。
特に、生成されたアセットは、下流の操作パイプラインにシームレスに統合することもできます。
アニメーション、合成、シミュレーションなど、幅広い用途でその可能性を大きく広げます。
デモは https://taoronyi.com/gaussiandreamerpro/ で入手できます。

要約(オリジナル)

Recently, 3D Gaussian splatting (3D-GS) has achieved great success in reconstructing and rendering real-world scenes. To transfer the high rendering quality to generation tasks, a series of research works attempt to generate 3D-Gaussian assets from text. However, the generated assets have not achieved the same quality as those in reconstruction tasks. We observe that Gaussians tend to grow without control as the generation process may cause indeterminacy. Aiming at highly enhancing the generation quality, we propose a novel framework named GaussianDreamerPro. The main idea is to bind Gaussians to reasonable geometry, which evolves over the whole generation process. Along different stages of our framework, both the geometry and appearance can be enriched progressively. The final output asset is constructed with 3D Gaussians bound to mesh, which shows significantly enhanced details and quality compared with previous methods. Notably, the generated asset can also be seamlessly integrated into downstream manipulation pipelines, e.g. animation, composition, and simulation etc., greatly promoting its potential in wide applications. Demos are available at https://taoranyi.com/gaussiandreamerpro/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google