Urban Scene Diffusion through Semantic Occupancy Map

要約

無制限の 3D シーンの生成は、大規模なシーンの理解とシミュレーションにとって重要です。
都市の風景は、自然の風景とは異なり、道路、交通標識、車両、建物など、さまざまな複雑な人工物や構造物で構成されています。
リアルで詳細な都市シーンを作成するには、視覚的な外観を超えて、基礎となるオブジェクトのジオメトリとセマンティクスを正確に表現することが重要です。
この研究では、鳥瞰図 (BEV) マップを条件とし、セマンティック占有マップの形式でジオメトリとセマンティクスを備えた都市シーンを生成する 3D 拡散モデル、UrbanDiffusion を提案します。
私たちのモデルは、潜在空間内のシーンレベルの構造のデータ分布を学習し、さらに合成されたシーンを任意のスケールに拡張できるようにする新しいパラダイムを導入しています。
現実世界の運転データセットでトレーニングした後、私たちのモデルは、保持されたセットからの BEV マップを考慮して、広範囲にわたる多様な都市シーンを生成し、運転シミュレーターからの合成マップに一般化することもできます。
さらに、事前にトレーニングされた画像ジェネレーターを事前に使用したシーン画像合成へのアプリケーションを実証します。

要約(オリジナル)

Generating unbounded 3D scenes is crucial for large-scale scene understanding and simulation. Urban scenes, unlike natural landscapes, consist of various complex man-made objects and structures such as roads, traffic signs, vehicles, and buildings. To create a realistic and detailed urban scene, it is crucial to accurately represent the geometry and semantics of the underlying objects, going beyond their visual appearance. In this work, we propose UrbanDiffusion, a 3D diffusion model that is conditioned on a Bird’s-Eye View (BEV) map and generates an urban scene with geometry and semantics in the form of semantic occupancy map. Our model introduces a novel paradigm that learns the data distribution of scene-level structures within a latent space and further enables the expansion of the synthesized scene into an arbitrary scale. After training on real-world driving datasets, our model can generate a wide range of diverse urban scenes given the BEV maps from the held-out set and also generalize to the synthesized maps from a driving simulator. We further demonstrate its application to scene image synthesis with a pretrained image generator as a prior.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google