CornerFormer: Boosting Corner Representation for Fine-Grained Structured Reconstruction

要約

タイトル：CornerFormer：細粒度構造再構築のためのコーナー表現の強化

要約：
– 構造再構築は、ラスター画像から構造情報（建物のコーナーやエッジなど）を抽出し、それに応じて2D平面グラフとして再構築する非常に複雑な密な予測問題です。
– 従来のトランスフォーマー・ベースのアプローチでは、2つの段階で解決されるという特徴があり、最初のモデルでコーナーを検出し、2番目のモデルで提案されたエッジ（コーナー対）を分類します。しかし、これらのアプローチでは2つの段階が別々のモデルに分離され、バックボーンのエンコーダのみを共有するようになっています。
– 提案された手法では、既存のモデル戦略と異なり、強化されたコーナー表現方法が提供されています。つまり、1）異なる粒度の機能を共有することで、コーナー検出とエッジ予測の間の知識を融合すること、2）コーナー候補は、その方向に対して4つのヒートマップチャネルで提案されます。
– 質的、量的な両面の評価により、我々の提案された手法が、隣り合ったコーナーや小さなエッジなどの細粒度の構造をよりよく再構築することができることが示されています。その結果、コーナーで+1.9％＠F-1、エッジで+3.0％＠F-1の、最先端のモデルを上回る性能を発揮します。

要約(オリジナル)

Structured reconstruction is a non-trivial dense prediction problem, which extracts structural information (\eg, building corners and edges) from a raster image, then reconstructs it to a 2D planar graph accordingly. Compared with common segmentation or detection problems, it significantly relays on the capability that leveraging holistic geometric information for structural reasoning. Current transformer-based approaches tackle this challenging problem in a two-stage manner, which detect corners in the first model and classify the proposed edges (corner-pairs) in the second model. However, they separate two-stage into different models and only share the backbone encoder. Unlike the existing modeling strategies, we present an enhanced corner representation method: 1) It fuses knowledge between the corner detection and edge prediction by sharing feature in different granularity; 2) Corner candidates are proposed in four heatmap channels w.r.t its direction. Both qualitative and quantitative evaluations demonstrate that our proposed method can better reconstruct fine-grained structures, such as adjacent corners and tiny edges. Consequently, it outperforms the state-of-the-art model by +1.9\%@F-1 on Corner and +3.0\%@F-1 on Edge.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI