Elevation Estimation-Driven Building 3D Reconstruction from Single-View Remote Sensing Imagery

要約

リモート センシング画像からの 3D 再構成の構築は、スマート シティ、写真測量などの分野で幅広い用途があります。
自動 3D 都市建物モデリングの方法では、通常、マルチビュー画像をアルゴリズムへの入力として使用して、建物の点群と 3D モデルを復元します。
ただし、このようなモデルは建物のマルチビュー画像に大きく依存しており、時間がかかり、モデルの適用性と実用性が制限されます。
これらの問題を解決するために、効率的な DSM 推定駆動型再構築フレームワーク (Building3D) の設計に焦点を当てています。これは、入力された単一ビューのリモート センシング画像から 3D 建物モデルを再構築することを目的としています。
まず、セマンティック フロー フィールド ガイド付き DSM 推定 (SFFDE) ネットワークを提案します。これは、標高セマンティック フローの提案された概念を利用して、ローカルおよびグローバル フィーチャの登録を実現します。
具体的には、ネットワーク セマンティクスをグローバルに認識させるために、インスタンスのセマンティック グローバル化を実現する Elevation Semantic Globalization (ESG) モジュールを提案します。
さらに、グローバル フィーチャと元のローカル フィーチャのセマンティック スパンを軽減するために、標高セマンティック フローに基づくローカルからグローバルへのエレベーション セマンティック レジストレーション (L2G-ESR) モジュールを提案します。
私たちの Building3D は、建物の標高予測用の SFFDE ネットワークに根ざしており、建物のマスク用の建物抽出ネットワークと同期し、点群の再構成、表面の再構成 (または CityGML モデルの再構成) を順次実行します。
これに基づいて、Building3D は必要に応じて建物の CityGML モデルまたはサーフェス メッシュ モデルを生成できます。
DSM 推定タスクに関する ISPRS Vaihingen および DFC2019 データセットの広範な実験は、当社の SFFDE が最先端技術を大幅に改善することを示しています。
さらに、当社の Building3D は、3D 点群と 3D モデルの再構築プロセスで素晴らしい結果を達成しています。

要約(オリジナル)

Building 3D reconstruction from remote sensing images has a wide range of applications in smart cities, photogrammetry and other fields. Methods for automatic 3D urban building modeling typically employ multi-view images as input to algorithms to recover point clouds and 3D models of buildings. However, such models rely heavily on multi-view images of buildings, which are time-intensive and limit the applicability and practicality of the models. To solve these issues, we focus on designing an efficient DSM estimation-driven reconstruction framework (Building3D), which aims to reconstruct 3D building models from the input single-view remote sensing image. First, we propose a Semantic Flow Field-guided DSM Estimation (SFFDE) network, which utilizes the proposed concept of elevation semantic flow to achieve the registration of local and global features. Specifically, in order to make the network semantics globally aware, we propose an Elevation Semantic Globalization (ESG) module to realize the semantic globalization of instances. Further, in order to alleviate the semantic span of global features and original local features, we propose a Local-to-Global Elevation Semantic Registration (L2G-ESR) module based on elevation semantic flow. Our Building3D is rooted in the SFFDE network for building elevation prediction, synchronized with a building extraction network for building masks, and then sequentially performs point cloud reconstruction, surface reconstruction (or CityGML model reconstruction). On this basis, our Building3D can optionally generate CityGML models or surface mesh models of the buildings. Extensive experiments on ISPRS Vaihingen and DFC2019 datasets on the DSM estimation task show that our SFFDE significantly improves upon state-of-the-arts. Furthermore, our Building3D achieves impressive results in the 3D point cloud and 3D model reconstruction process.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google