FacadeNet: Conditional Facade Synthesis via Selective Editing

要約

さまざまな視点から建物のファサード画像を合成するためのディープラーニング手法である FacadeNet を紹介します。
私たちの方法では条件付き GAN を採用し、ファサードの単一ビューを必要な視点情報とともに取得し、個別の視点からファサードの画像を生成します。
壁などのビューに依存しないコンポーネントの構造を維持しながら、窓やドアなどのビューに依存する要素を正確に変更するために、選択編集モジュールを導入します。
このモジュールは、事前トレーニングされたビジョン トランスフォーマーから抽出された画像埋め込みを利用します。
私たちの実験では、建物のファサード生成において代替手法を上回る最先端のパフォーマンスが実証されました。

要約(オリジナル)

We introduce FacadeNet, a deep learning approach for synthesizing building facade images from diverse viewpoints. Our method employs a conditional GAN, taking a single view of a facade along with the desired viewpoint information and generates an image of the facade from the distinct viewpoint. To precisely modify view-dependent elements like windows and doors while preserving the structure of view-independent components such as walls, we introduce a selective editing module. This module leverages image embeddings extracted from a pre-trained vision transformer. Our experiments demonstrated state-of-the-art performance on building facade generation, surpassing alternative methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google