TwinTex: Geometry-aware Texture Generation for Abstracted 3D Architectural Models

要約

粗い建築モデルは、デジタル ツイン シティ、メタバース、LOD などの下流アプリケーション向けに、個々の建物からシーンまでのスケールで生成されることがよくあります。このような区分的な平面モデルは、3D の密な再構成からツインとして抽象化できます。
ただし、これらのモデルは通常、実際の建物やシーンに比べて現実的なテクスチャに欠けており、鮮明な表示や直接参照には適していません。
この論文では、区分平面プロキシのフォトリアリスティックなテクスチャを生成する最初の自動テクスチャ マッピング フレームワークである TwinTex を紹介します。
私たちの方法は、このようなツイン テクスチャの生成で発生するほとんどの課題に対処します。
具体的には、各プリミティブ平面について、まず測光品質、遠近品質、ファサード テクスチャの完全性を考慮した貪欲なヒューリスティックを使用して小さな写真セットを選択します。
次に、選択した写真のセットからさまざまなレベルのライン フィーチャ (LoL) が抽出され、後のステップのガイダンスが生成されます。
LoL では、最適化アルゴリズムを採用して、ローカルからグローバルまでテクスチャをジオメトリに合わせます。
最後に、マルチマスク初期化コンポーネントと新しいデータセットを使用して拡散モデルを微調整し、欠落領域を修復します。
さまざまな複雑さの多くの建物、屋内シーン、人工物体に関する実験結果は、私たちのアルゴリズムの一般化能力を実証しています。
私たちのアプローチは、高忠実度の品質の点で最先端のテクスチャ マッピング手法を上回り、はるかに少ない労力で人間の専門家による制作レベルに到達します。
プロジェクトページ: https://vcc.tech/research/2023/TwinTex。

要約(オリジナル)

Coarse architectural models are often generated at scales ranging from individual buildings to scenes for downstream applications such as Digital Twin City, Metaverse, LODs, etc. Such piece-wise planar models can be abstracted as twins from 3D dense reconstructions. However, these models typically lack realistic texture relative to the real building or scene, making them unsuitable for vivid display or direct reference. In this paper, we present TwinTex, the first automatic texture mapping framework to generate a photo-realistic texture for a piece-wise planar proxy. Our method addresses most challenges occurring in such twin texture generation. Specifically, for each primitive plane, we first select a small set of photos with greedy heuristics considering photometric quality, perspective quality and facade texture completeness. Then, different levels of line features (LoLs) are extracted from the set of selected photos to generate guidance for later steps. With LoLs, we employ optimization algorithms to align texture with geometry from local to global. Finally, we fine-tune a diffusion model with a multi-mask initialization component and a new dataset to inpaint the missing region. Experimental results on many buildings, indoor scenes and man-made objects of varying complexity demonstrate the generalization ability of our algorithm. Our approach surpasses state-of-the-art texture mapping methods in terms of high-fidelity quality and reaches a human-expert production level with much less effort. Project page: https://vcc.tech/research/2023/TwinTex.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google