Learning to Construct 3D Building Wireframes from 3D Line Clouds

要約

線雲は、以前の研究では十分に調査されていませんでしたが、多視点画像から抽出された点群よりも建物の構造情報をよりコンパクトにエンコードする可能性があります。
この作業では、ワイヤーフレームの抽象化を構築するためのライン クラウドを処理する最初のネットワークを提案します。
このネットワークは、ライン クラウドを入力として受け取ります。つまり、多視点画像から抽出された非構造的で順序付けられていない 3D ライン セグメントのセットであり、基礎となる建物の 3D ワイヤフレームを出力します。これは、ライン セグメントで接続された 3D ジャンクションの疎なセットで構成されます。
.
ライン パッチ、つまり隣接するライン セグメントのグループは、潜在的なジャンクションの存在と 3D 位置、および 2 つのクエリ ジャンクション間の接続の可能性を予測するのに十分な輪郭情報をエンコードすることがわかります。
そのため、2 層の Line-Patch Transformer を導入して、サンプリングされたライン パッチからジャンクションと接続性を抽出し、3D 建物のワイヤフレーム モデルを形成します。
また、グラウンド トゥルース 3D ワイヤーフレームを使用した多視点画像の合成データセットも紹介します。
再構築された 3D ワイヤーフレーム モデルが、複数のベースラインの建物再構築方法よりも大幅に改善されていることは、十分に正当化されます。

要約(オリジナル)

Line clouds, though under-investigated in the previous work, potentially encode more compact structural information of buildings than point clouds extracted from multi-view images. In this work, we propose the first network to process line clouds for building wireframe abstraction. The network takes a line cloud as input , i.e., a nonstructural and unordered set of 3D line segments extracted from multi-view images, and outputs a 3D wireframe of the underlying building, which consists of a sparse set of 3D junctions connected by line segments. We observe that a line patch, i.e., a group of neighboring line segments, encodes sufficient contour information to predict the existence and even the 3D position of a potential junction, as well as the likelihood of connectivity between two query junctions. We therefore introduce a two-layer Line-Patch Transformer to extract junctions and connectivities from sampled line patches to form a 3D building wireframe model. We also introduce a synthetic dataset of multi-view images with ground-truth 3D wireframe. We extensively justify that our reconstructed 3D wireframe models significantly improve upon multiple baseline building reconstruction methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google