SynCity: Training-Free Generation of 3D Worlds

要約

テキストの説明から3Dワールドを生成するという課題に対処します。
トレーニングおよび最適化のないアプローチである同期を提案します。これは、事前に訓練された3D生成モデルの幾何学的精度と、2D画像ジェネレーターの芸術的汎用性を活用して、大規模で高品質の3Dスペースを作成します。
ほとんどの3D生成モデルはオブジェクト中心であり、大規模な世界を生成することはできませんが、3Dおよび2Dジェネレーターを組み合わせて拡大し続けるシーンを生成する方法を示します。
タイルベースのアプローチを通じて、レイアウトとシーンの外観を細かく制御できます。
世界はタイルごとに生成され、それぞれの新しいタイルがその世界コンテスト内で生成され、シーンと融合します。
Syncityは、詳細と多様性が豊富な、魅力的で没入型のシーンを生成します。

要約(オリジナル)

We address the challenge of generating 3D worlds from textual descriptions. We propose SynCity, a training- and optimization-free approach, which leverages the geometric precision of pre-trained 3D generative models and the artistic versatility of 2D image generators to create large, high-quality 3D spaces. While most 3D generative models are object-centric and cannot generate large-scale worlds, we show how 3D and 2D generators can be combined to generate ever-expanding scenes. Through a tile-based approach, we allow fine-grained control over the layout and the appearance of scenes. The world is generated tile-by-tile, and each new tile is generated within its world-context and then fused with the scene. SynCity generates compelling and immersive scenes that are rich in detail and diversity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google