Detecting Building Changes with Off-Nadir Aerial Images

要約

オフナディア航空画像の傾斜表示の性質は、建物の変更検出 (BCD) 問題に深刻な課題をもたらします: 近くの建物の不一致と建物のファサードのセマンティックなあいまいさです。
これらの課題に取り組むために、MTGCD-Net と名付けられたマルチタスクのガイド付き変更検出ネットワーク モデルを提示します。
提案されたモデルは、次の 3 つの補助タスクを設計することにより、特定の BCD 問題にアプローチします。
(2) 建物の屋根のインスタンス間のずれを考慮して、各建物の屋根からフットプリントまでのオフセットを学習するための補助タスク。
(3) 建物の屋根のミスマッチ問題に取り組むために、バイテンポラル航空画像間で同一の屋根のマッチング フローを学習するための補助タスク。
これらの補助タスクは、不可欠で補完的な建物の解析および照合情報を提供します。
補助タスクの予測は、マルチモーダル蒸留モジュールを使用して、最終的に主要な建物の変更検出ブランチに融合されます。
オフナディア航空画像を使用した BCD 問題のモデルをトレーニングおよびテストするために、BANDON という名前の新しいベンチマーク データセットを作成します。
広範な実験により、当社のモデルが以前の最先端の競合他社よりも優れたパフォーマンスを達成することが実証されています。

要約(オリジナル)

The tilted viewing nature of the off-nadir aerial images brings severe challenges to the building change detection (BCD) problem: the mismatch of the nearby buildings and the semantic ambiguity of the building facades. To tackle these challenges, we present a multi-task guided change detection network model, named as MTGCD-Net. The proposed model approaches the specific BCD problem by designing three auxiliary tasks, including: (1) a pixel-wise classification task to predict the roofs and facades of buildings; (2) an auxiliary task for learning the roof-to-footprint offsets of each building to account for the misalignment between building roof instances; and (3) an auxiliary task for learning the identical roof matching flow between bi-temporal aerial images to tackle the building roof mismatch problem. These auxiliary tasks provide indispensable and complementary building parsing and matching information. The predictions of the auxiliary tasks are finally fused to the main building change detection branch with a multi-modal distillation module. To train and test models for the BCD problem with off-nadir aerial images, we create a new benchmark dataset, named BANDON. Extensive experiments demonstrate that our model achieves superior performance over the previous state-of-the-art competitors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google