FacadeNet: Conditional Facade Synthesis via Selective Editing

要約

我々は、多様な視点から建物のファサード画像を合成するためのディープラーニングアプローチであるFacadeNetを紹介する。本手法は条件付きGANを採用し、ファサードの単一のビューと所望の視点情報を取り込み、明確な視点からのファサードの画像を生成する。壁のような視点に依存しない構成要素の構造を保持したまま、窓やドアのような視点に依存する要素を正確に修正するために、選択的編集モジュールを導入する。このモジュールは、事前に訓練された視覚変換器から抽出された画像埋め込みを活用する。我々の実験では、建物のファサード生成において、代替手法を凌駕する最先端の性能が実証された。

要約(オリジナル)

We introduce FacadeNet, a deep learning approach for synthesizing building facade images from diverse viewpoints. Our method employs a conditional GAN, taking a single view of a facade along with the desired viewpoint information and generates an image of the facade from the distinct viewpoint. To precisely modify view-dependent elements like windows and doors while preserving the structure of view-independent components such as walls, we introduce a selective editing module. This module leverages image embeddings extracted from a pre-trained vision transformer. Our experiments demonstrated state-of-the-art performance on building facade generation, surpassing alternative methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL