Learning to Construct 3D Building Wireframes from 3D Line Clouds

要約

線画は、多視点画像から抽出された点群よりも、建物の構造情報をコンパクトに表現できる可能性があるが、これまでの研究ではあまり研究されていない。本研究では、建物のワイヤーフレームを抽象化するために、線画を処理する最初のネットワークを提案する。このネットワークは、マルチビュー画像から抽出された非構造的かつ非順序な線分の集合である線雲を入力とし、線分によって接続された3次元接合部の疎な集合からなる建物の3次元ワイヤーフレームデータを出力する。我々は、線パッチ、すなわち、隣接する線分のグループが、潜在的な接合部の存在と3次元位置、さらには、2つのクエリ接合部間の接続の可能性を予測するのに十分な輪郭情報を包含していることを観察する。そこで、我々は2層のラインパッチ変換器を導入し、サンプリングされたラインパッチから接合部と接続性を抽出し、3D建築ワイヤーフレームモデルを形成する。また、マルチビュー画像からなる合成データセットを用いて、3次元ワイヤーフレームモデルを生成する。我々は、我々の再構築した3Dワイヤーフレームモデルが、複数のベースライン建物再構築手法を大幅に改善することを広く正当化する。コードとデータは、https://github.com/Luo1Cheng/LC2WF で参照できます。

要約(オリジナル)

Line clouds, though under-investigated in the previous work, potentially encode more compact structural information of buildings than point clouds extracted from multi-view images. In this work, we propose the first network to process line clouds for building wireframe abstraction. The network takes a line cloud as input , i.e., a nonstructural and unordered set of 3D line segments extracted from multi-view images, and outputs a 3D wireframe of the underlying building, which consists of a sparse set of 3D junctions connected by line segments. We observe that a line patch, i.e., a group of neighboring line segments, encodes sufficient contour information to predict the existence and even the 3D position of a potential junction, as well as the likelihood of connectivity between two query junctions. We therefore introduce a two-layer Line-Patch Transformer to extract junctions and connectivities from sampled line patches to form a 3D building wireframe model. We also introduce a synthetic dataset of multi-view images with ground-truth 3D wireframe. We extensively justify that our reconstructed 3D wireframe models significantly improve upon multiple baseline building reconstruction methods. The code and data can be found at https://github.com/Luo1Cheng/LC2WF.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL