Constructing a 3D Town from a Single Image

要約

詳細な3Dシーンを取得するには、通常、費用のかかる機器、マルチビューデータ、または労働集約的なモデリングが必要です。
したがって、単一のトップダウン画像から複雑な3Dシーンを生成する軽量の代替品は、実際のアプリケーションで重要な役割を果たします。
最近の3D生成モデルはオブジェクトレベルで顕著な結果を達成していますが、フルシーン生成への拡張は、しばしば一貫性のないジオメトリ、レイアウト幻覚、および低品質のメッシュにつながります。
この作業では、単一のトップダウンビューから現実的で一貫した3Dシーンを合成するように設計されたトレーニングフリーのフレームワークである3DTownを紹介します。
私たちの方法は、2つの原則に基づいています。地域ベースの生成は、画像と3Dのアライメントと解像度を改善するための生成と、グローバルなシーンの一貫性と高品質のジオメトリ生成を確保するための空間認識3Dの入力です。
具体的には、入力画像を重複する領域に分解し、前​​提条件の3Dオブジェクトジェネレーターを使用してそれぞれを生成し、その後、構造の連続性を維持しながら不足しているジオメトリを満たすマスクされた修正フローインペインティングプロセスが続きます。
このモジュール設計により、3Dの監督や微調整を必要とせずに、解像度のボトルネックを克服し、空間構造を保存することができます。
多様なシーン全体の広範な実験では、3DTownが、ジオメトリの品質、空間的一貫性、およびテクスチャーの忠実性の観点から、Trellis、Hunyuan3D-2、Triposgを含む最先端のベースラインよりも優れていることが示されています。
私たちの結果は、高品質の3Dタウン世代が、原則的でトレーニングのないアプローチを使用して単一の画像から達成できることを示しています。

要約(オリジナル)

Acquiring detailed 3D scenes typically demands costly equipment, multi-view data, or labor-intensive modeling. Therefore, a lightweight alternative, generating complex 3D scenes from a single top-down image, plays an essential role in real-world applications. While recent 3D generative models have achieved remarkable results at the object level, their extension to full-scene generation often leads to inconsistent geometry, layout hallucinations, and low-quality meshes. In this work, we introduce 3DTown, a training-free framework designed to synthesize realistic and coherent 3D scenes from a single top-down view. Our method is grounded in two principles: region-based generation to improve image-to-3D alignment and resolution, and spatial-aware 3D inpainting to ensure global scene coherence and high-quality geometry generation. Specifically, we decompose the input image into overlapping regions and generate each using a pretrained 3D object generator, followed by a masked rectified flow inpainting process that fills in missing geometry while maintaining structural continuity. This modular design allows us to overcome resolution bottlenecks and preserve spatial structure without requiring 3D supervision or fine-tuning. Extensive experiments across diverse scenes show that 3DTown outperforms state-of-the-art baselines, including Trellis, Hunyuan3D-2, and TripoSG, in terms of geometry quality, spatial coherence, and texture fidelity. Our results demonstrate that high-quality 3D town generation is achievable from a single image using a principled, training-free approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google