Rebuild City Buildings from Off-Nadir Aerial Images with Offset-Building Model (OBM)

要約

超高解像度リモートセンシング画像における屋根から足跡までのオフセットの正確な測定は、都市情報抽出タスクにとって極めて重要である。ディープラーニングの助けを借りて、既存の手法は通常、建物の特徴マップ上の関心領域を抽出するために2段階のCNNモデルに依存している。第一段階では、RPN(Region Proposal Network)が何千ものROI(関心領域)を抽出するために適用され、その後、RCNN(Region-based Convolutional Neural Networks)にインポートされ、必要な情報が抽出される。しかし、柔軟性に欠けるRPNのため、これらの手法はしばしば効果的なユーザインタラクションを欠き、インスタンス対応に困難が生じ、一般的な人工知能の進歩に追いつくのに苦労する。本論文では、建物のセグメンテーションと、屋根から足跡までのオフセットベクトルを正確に抽出するために、プロンプトエンコーダと組み合わせた対話型Transformerモデルを紹介する。我々のモデルでは、ROAMという強力なモジュールを、屋根からフットプリントへのオフセット予測における一般的な問題のために調整した。公開されているBONAIデータセットでモデルの実現可能性をテストし、プロンプト・インスタンス・レベルのオフセット誤差を14.6%から16.3%まで大幅に削減することに成功した。さらに、大規模な建物のオフセット用に調整されたDistance-NMSアルゴリズムを開発し、簡単かつ効率的な方法で、建物のオフセット角度と長さの予測精度を大幅に向上させました。モデルのロバスト性をさらに検証するため、推論テスト用に中国恵州市の0.5mリモートセンシング画像を使用した新しいテストセットを作成した。我々のコード、トレーニング方法、更新されたデータセットは、https://github.com/likaiucas。

要約(オリジナル)

Accurate measurement of the offset from roof-to-footprint in very-high-resolution remote sensing imagery is crucial for urban information extraction tasks. With the help of deep learning, existing methods typically rely on two-stage CNN models to extract regions of interest on building feature maps. At the first stage, a Region Proposal Network (RPN) is applied to extract thousands of ROIs (Region of Interests) which will post-imported into a Region-based Convolutional Neural Networks (RCNN) to extract wanted information. However, because of inflexible RPN, these methods often lack effective user interaction, encounter difficulties in instance correspondence, and struggle to keep up with the advancements in general artificial intelligence. This paper introduces an interactive Transformer model combined with a prompt encoder to precisely extract building segmentation as well as the offset vectors from roofs to footprints. In our model, a powerful module, namely ROAM, was tailored for common problems in predicting roof-to-footprint offsets. We tested our model’s feasibility on the publicly available BONAI dataset, achieving a significant reduction in Prompt-Instance-Level offset errors ranging from 14.6% to 16.3%. Additionally, we developed a Distance-NMS algorithm tailored for large-scale building offsets, significantly enhancing the accuracy of predicted building offset angles and lengths in a straightforward and efficient manner. To further validate the model’s robustness, we created a new test set using 0.5m remote sensing imagery from Huizhou, China, for inference testing. Our code, training methods, and the updated dataset will be accessable at https://github.com/likaiucas.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL