CityDreamer: Compositional Generative Model of Unbounded 3D Cities

要約

近年、3D自然シーンの生成に関する広範な研究が行われているが、3D都市生成の領域はあまり研究されていない。これは、3D都市生成がもたらす課題が大きいためである。主に、人間は都市環境における構造的な歪みに敏感であるためである。さらに、同じクラスのオブジェクトである建物は、自然シーンにおける樹木のようなオブジェクトの比較的一貫した外観に比べ、より幅広い外観を示すため、3D都市の生成は3D自然シーンよりも複雑である。このような課題に対処するため、我々は、境界のない3D都市のために特別に設計された構成的生成モデルであるCityDreamerを提案する。CityDreamerは、建物のインスタンスの生成を、道路、緑地、水域などの他の背景オブジェクトから分離し、異なるモジュールに分割する。さらに、OSMとGoogleEarthという2つのデータセットを構築し、膨大な量の実世界の都市画像を用いて、生成された3D都市のレイアウトと外観のリアリズムを高めています。広範な実験を通じて、CityDreamerは様々なリアルな3D都市を生成する上で、最先端の手法よりも優れていることが証明された。

要約(オリジナル)

In recent years, extensive research has focused on 3D natural scene generation, but the domain of 3D city generation has not received as much exploration. This is due to the greater challenges posed by 3D city generation, mainly because humans are more sensitive to structural distortions in urban environments. Additionally, generating 3D cities is more complex than 3D natural scenes since buildings, as objects of the same class, exhibit a wider range of appearances compared to the relatively consistent appearance of objects like trees in natural scenes. To address these challenges, we propose CityDreamer, a compositional generative model designed specifically for unbounded 3D cities, which separates the generation of building instances from other background objects, such as roads, green lands, and water areas, into distinct modules. Furthermore, we construct two datasets, OSM and GoogleEarth, containing a vast amount of real-world city imagery to enhance the realism of the generated 3D cities both in their layouts and appearances. Through extensive experiments, CityDreamer has proven its superiority over state-of-the-art methods in generating a wide range of lifelike 3D cities.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL