HEAT: Holistic Edge Attention Transformer for Structured Reconstruction

要約

本論文では，2次元ラスタ画像を入力とし，その下にある幾何学的構造を表す平面グラフを再構成する，構造再構成のための新しい注意に基づくニューラルネットワークを提案する．本アプローチは、コーナーを検出し、コーナー間のエッジ候補をエンドツーエンドで分類する。このアーキテクチャは、1) エッジ候補の特徴を端点の三角法位置エンコーディングによって初期化し、2) 画像の特徴を変形可能な注目によって各エッジ候補に融合し、3) 2つの重み共有トランスフォーマデコーダを用いてグラフエッジ候補の全体的構造パターンを学習し、 4) マスキング学習戦略で学習されるものである。コーナー検出器は、エッジ分類アーキテクチャの変形であり、ピクセルがコーナー候補として動作するように適応されている。我々は、2つの構造的な再構成タスク（屋外の建築物と屋内のフロアプランの平面グラフの再構成）についての実験を行った。広範な定性的・定量的評価により、我々のアプローチが最先端の技術より優れていることを実証する。コードと事前学習済みモデルは、https://heat-structured-reconstruction.github.io で入手可能である。

要約(オリジナル)

This paper presents a novel attention-based neural network for structured reconstruction, which takes a 2D raster image as an input and reconstructs a planar graph depicting an underlying geometric structure. The approach detects corners and classifies edge candidates between corners in an end-to-end manner. Our contribution is a holistic edge classification architecture, which 1) initializes the feature of an edge candidate by a trigonometric positional encoding of its end-points; 2) fuses image feature to each edge candidate by deformable attention; 3) employs two weight-sharing Transformer decoders to learn holistic structural patterns over the graph edge candidates; and 4) is trained with a masked learning strategy. The corner detector is a variant of the edge classification architecture, adapted to operate on pixels as corner candidates. We conduct experiments on two structured reconstruction tasks: outdoor building architecture and indoor floorplan planar graph reconstruction. Extensive qualitative and quantitative evaluations demonstrate the superiority of our approach over the state of the art. Code and pre-trained models are available at https://heat-structured-reconstruction.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL