Semi-Supervised Representative Region Texture Extraction of Façade

要約

本研究では、意味情報を用いてファサードの3次元的な特徴を豊かにするために、ファサード周辺の解析と構文解析の研究が注目されている。その主なアイデアは、形状やテクスチャが類似する高解像度コンポーネントを生成し、再構成精度を犠牲にして全体の解像度を高めることである。このアプローチは、窓やドアのようなコンポーネントに対してはうまく機能するが、現在のところ、faľujiade背景に対する解決策はない。本論文では、代表領域テクスチャの概念を紹介し、代表領域テクスチャをfac{c}ade領域の周りにタイリングすることで上記のモデリングアプローチに使用することができ、fac{c}ade画像から代表領域テクスチャ抽出を行う半教師付き方法を提案する。従来のend-to-endモデルは、性能を上げるために多くのデータを必要とするが、本手法は、意味情報が与えられている限り、学習するために追加のラベル付けされたデータを必要としない。また、学習セットの分布に依存するend-to-endモデルでは不可能な、fa{c}adeに限らず、あらゆる繰り返し画像からのテクスチャの抽出が可能である。また、重み付き距離によるクラスタリングを導入することで、ノイズや不正確なセグメンテーションに対する頑健性をさらに高め、抽出されたテクスチャをより高解像度にし、タイリングに適したテクスチャにする。様々なfac{c}adeの画像で本手法を検証し、fac{c}adeのランダムクロップのみと比較して、本手法が大幅に性能を向上させることを示す。また，いくつかの応用例を示し，代表領域テクスチャを用いたfa c{c}adeのモデリングワークフローを提案した．

要約(オリジナル)

Researches of analysis and parsing around fa\c{c}ades to enrich the 3D feature of fa\c{c}ade models by semantic information raised some attention in the community, whose main idea is to generate higher resolution components with similar shapes and textures to increase the overall resolution at the expense of reconstruction accuracy. While this approach works well for components like windows and doors, there is no solution for fa\c{c}ade background at present. In this paper, we introduce the concept of representative region texture, which can be used in the above modeling approach by tiling the representative texture around the fa\c{c}ade region, and propose a semi-supervised way to do representative region texture extraction from a fa\c{c}ade image. Our method does not require any additional labelled data to train as long as the semantic information is given, while a traditional end-to-end model requires plenty of data to increase its performance. Our method can extract texture from any repetitive images, not just fa\c{c}ade, which is not capable in an end-to-end model as it relies on the distribution of training set. Clustering with weighted distance is introduced to further increase the robustness to noise or an imprecise segmentation, and make the extracted texture have a higher resolution and more suitable for tiling. We verify our method on various fa\c{c}ade images, and the result shows our method has a significant performance improvement compared to only a random crop on fa\c{c}ade. We also demonstrate some application scenarios and proposed a fa\c{c}ade modeling workflow with the representative region texture, which has a better visual resolution for a regular fa\c{c}ade.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL