Semantic Image Translation for Repairing the Texture Defects of Building Models

要約

都市環境での 3D 建物モデルの正確な表現は、標準の写真測量テクスチャ マッピング パイプラインでは軽減が困難なテクスチャ オクルージョン、ぼかし、詳細の欠落などの課題によって大きく妨げられています。
現在の画像補完方法は、多くの場合、構造化された結果を生成し、多様な建築様式を持つ高度に構造化されたファサード テクスチャの複雑な性質を効果的に処理するのに苦労しています。
さらに、既存の画像合成方法では、リアルなファサード テクスチャ合成を実現するために不可欠な、高周波のディテールと人工的な規則的な構造を維持することが困難です。
これらの課題に対処するために、構造化されたラベル マップから建築様式を忠実に反映するファサード テクスチャ画像を合成するための新しいアプローチを導入し、グラウンド トゥルース ファサード画像に導かれます。
細かいディテールと規則的な構造を維持するために、周波数情報とコーナー マップを活用する規則性を意識したマルチドメイン手法を提案します。
また、SEAN ブロックをジェネレーターに組み込んで、多彩なスタイル転送を可能にします。
望ましくない領域のないもっともらしい構造化画像を生成するために、画像補完技術を使用して、画像推論の前にセマンティクスに従ってオクルージョンを削除します。
提案された方法は、手動で注釈を付けたラベルを使用して、既存のテクスチャがないファサードの特定のスタイルを持つテクスチャ イメージを合成することもできます。
公開されているファサード画像と 3D モデル データセットに関する実験結果は、私たちの方法が優れた結果をもたらし、欠陥のあるテクスチャに関連する問題に効果的に対処することを示しています。
コードとデータセットは、さらなる研究と開発のために公開されます。

要約(オリジナル)

The accurate representation of 3D building models in urban environments is significantly hindered by challenges such as texture occlusion, blurring, and missing details, which are difficult to mitigate through standard photogrammetric texture mapping pipelines. Current image completion methods often struggle to produce structured results and effectively handle the intricate nature of highly-structured fa\c{c}ade textures with diverse architectural styles. Furthermore, existing image synthesis methods encounter difficulties in preserving high-frequency details and artificial regular structures, which are essential for achieving realistic fa\c{c}ade texture synthesis. To address these challenges, we introduce a novel approach for synthesizing fa\c{c}ade texture images that authentically reflect the architectural style from a structured label map, guided by a ground-truth fa\c{c}ade image. In order to preserve fine details and regular structures, we propose a regularity-aware multi-domain method that capitalizes on frequency information and corner maps. We also incorporate SEAN blocks into our generator to enable versatile style transfer. To generate plausible structured images without undesirable regions, we employ image completion techniques to remove occlusions according to semantics prior to image inference. Our proposed method is also capable of synthesizing texture images with specific styles for fa\c{c}ades that lack pre-existing textures, using manually annotated labels. Experimental results on publicly available fa\c{c}ade image and 3D model datasets demonstrate that our method yields superior results and effectively addresses issues associated with flawed textures. The code and datasets will be made publicly available for further research and development.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google