Connecting the Dots: Floorplan Reconstruction Using Two-Level Queries

要約

3D スキャンからの 2D フロアプランの再構成に対処します。
既存のアプローチは通常、ヒューリスティックに設計されたマルチステージ パイプラインを採用しています。
代わりに、単一段階の構造化された予測タスクとしてフロアプランの再構築を定式化します。可変サイズのポリゴン セットを見つけます。これは、順序付けられた頂点の可変長シーケンスです。
それを解決するために、手作りの中間段階なしで全体的な方法で、複数の部屋のポリゴンを並行して生成する新しい Transformer アーキテクチャを開発しました。
このモデルは、ポリゴンとコーナーの 2 レベルのクエリを備えており、ネットワークをエンドツーエンドでトレーニングできるようにするポリゴン マッチングが含まれています。
私たちの方法は、Structured3D と SceneCAD の 2 つの挑戦的なデータセットに対して新しい最先端技術を実現し、以前の方法よりもはるかに高速な推論を実現します。
さらに、追加情報、つまりセマンティックルームタイプやドアや窓などの建築要素を予測するために容易に拡張できます。
私たちのコードとモデルは、https://github.com/ywyue/RoomFormer で入手できます。

要約(オリジナル)

We address 2D floorplan reconstruction from 3D scans. Existing approaches typically employ heuristically designed multi-stage pipelines. Instead, we formulate floorplan reconstruction as a single-stage structured prediction task: find a variable-size set of polygons, which in turn are variable-length sequences of ordered vertices. To solve it we develop a novel Transformer architecture that generates polygons of multiple rooms in parallel, in a holistic manner without hand-crafted intermediate stages. The model features two-level queries for polygons and corners, and includes polygon matching to make the network end-to-end trainable. Our method achieves a new state-of-the-art for two challenging datasets, Structured3D and SceneCAD, along with significantly faster inference than previous methods. Moreover, it can readily be extended to predict additional information, i.e., semantic room types and architectural elements like doors and windows. Our code and models will be available at: https://github.com/ywyue/RoomFormer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google