Continuous Urban Change Detection from Satellite Image Time Series with Temporal Feature Refinement and Multi-Task Integration

要約

都市化は前例のない速度で進み、その結果、環境と人間の幸福に悪影響を及ぼします。
リモートセンシングは、都市の成長に関する正確な情報を利用して持続可能な開発戦略をサポートすることで、これらの影響を軽減する可能性があります。
深層学習ベースの手法では、畳み込みニューラル ネットワーク (ConvNets)、トランスフォーマー、およびマルチタスク学習セットアップを使用して、光学衛星画像のペアから有望な都市変化検出結果を達成しました。
ただし、トランスフォーマーは、多時間データ、つまり 2 つ以上の画像を使用した都市の変化検出には活用されておらず、マルチタスク学習方法には、変化とセグメンテーションの出力を組み合わせる統合アプローチが欠けています。
この研究ギャップを埋めるために、衛星画像時系列 (SITS) の各連続画像ペアの変化を識別する連続都市変化検出方法を提案します。
具体的には、自己注意を利用して ConvNet ベースのマルチ時間的建物表現を改善する時間的特徴改善 (TFR) モジュールを提案します。
さらに、マルコフ ネットワークを利用して、セグメンテーションと密な変更出力に基づいて最適な建物マップ時系列を見つけるマルチタスク統合 (MTI) モジュールを提案します。
提案された方法は、PlanetScope コンステレーション (F1 スコア 0.551) および Gaofen-2 (F1 スコア 0.440) によって取得された高解像度 SITS に基づいて都市の変化を効果的に特定します。
さらに、2 つの困難なデータセットに対する私たちの実験は、バイタイムおよびマルチタイムの都市変化検出およびセグメンテーション方法と比較して、提案された方法の有効性を実証しています。

要約(オリジナル)

Urbanization advances at unprecedented rates, resulting in negative effects on the environment and human well-being. Remote sensing has the potential to mitigate these effects by supporting sustainable development strategies with accurate information on urban growth. Deep learning-based methods have achieved promising urban change detection results from optical satellite image pairs using convolutional neural networks (ConvNets), transformers, and a multi-task learning setup. However, transformers have not been leveraged for urban change detection with multi-temporal data, i.e., >2 images, and multi-task learning methods lack integration approaches that combine change and segmentation outputs. To fill this research gap, we propose a continuous urban change detection method that identifies changes in each consecutive image pair of a satellite image time series (SITS). Specifically, we propose a temporal feature refinement (TFR) module that utilizes self-attention to improve ConvNet-based multi-temporal building representations. Furthermore, we propose a multi-task integration (MTI) module that utilizes Markov networks to find an optimal building map time series based on segmentation and dense change outputs. The proposed method effectively identifies urban changes based on high-resolution SITS acquired by the PlanetScope constellation (F1 score 0.551) and Gaofen-2 (F1 score 0.440). Moreover, our experiments on two challenging datasets demonstrate the effectiveness of the proposed method compared to bi-temporal and multi-temporal urban change detection and segmentation methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google