CornerFormer: Boosting Corner Representation for Fine-Grained Structured Reconstruction

要約

タイトル：CornerFormer：細かい構造再構築のためのコーナー表現の強化

要約：
– 構造再構築は密な予測問題であり、ラスター画像から構造情報（建物のコーナーやエッジなど）を抽出し、それに応じた2D平面グラフに再構築することです。
– 一般的なセグメンテーションや検出問題に比べて、構造推論にはホリスティックな幾何情報を利用する能力が大きく関係しています。
– 現在のトランスフォーマーベースのアプローチは、2つのステージで構成され、最初のモデルでコーナーを検出し、2つ目のモデルで提案されたエッジ（コーナーペア）を分類します。しかし、これらは2つの独立したモデルであり、バックボーンのエンコーダーのみを共有します。
– 既存のモデリング戦略とは異なり、私たちは以下の強化されたコーナー表現方法を提案しています：1）特徴を異なる粒度で共有することで、コーナー検出とエッジ予測の知識を融合させます。2）コーナー候補は、その方向に関連する4つのヒートマップチャンネルで提案されます。
– 定性的および定量的な評価により、私たちが提案する方法は、隣接するコーナーや微細なエッジなどの細かい構造をより良く再構築できることが示されています。その結果、CornerではF-1で+1.9％、EdgeではF-1で+3.0％の最新モデルを上回る性能を発揮します。

要約(オリジナル)

Structured reconstruction is a non-trivial dense prediction problem, which extracts structural information (\eg, building corners and edges) from a raster image, then reconstructs it to a 2D planar graph accordingly. Compared with common segmentation or detection problems, it significantly relays on the capability that leveraging holistic geometric information for structural reasoning. Current transformer-based approaches tackle this challenging problem in a two-stage manner, which detect corners in the first model and classify the proposed edges (corner-pairs) in the second model. However, they separate two-stage into different models and only share the backbone encoder. Unlike the existing modeling strategies, we present an enhanced corner representation method: 1) It fuses knowledge between the corner detection and edge prediction by sharing feature in different granularity; 2) Corner candidates are proposed in four heatmap channels w.r.t its direction. Both qualitative and quantitative evaluations demonstrate that our proposed method can better reconstruct fine-grained structures, such as adjacent corners and tiny edges. Consequently, it outperforms the state-of-the-art model by +1.9\%@F-1 on Corner and +3.0\%@F-1 on Edge.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI