DDPM-CD: Denoising Diffusion Probabilistic Models as Feature Extractors for Change Detection

要約

リモートセンシングによる変化検出は、地球表面のダイナミクスを理解し、環境変化の監視を容易にし、人間への影響を評価し、将来の傾向を予測し、意思決定をサポートするために非常に重要です。
この研究では、画像で使用される生成モデルの一種であるノイズ除去拡散確率モデル (DDPM) を事前トレーニングすることにより、トレーニング プロセスで既製のラベルなしリモート センシング画像を活用できる、変化検出のための新しいアプローチを紹介します。
合成。
DDPM は、マルコフ連鎖を使用してトレーニング画像をガウス分布に徐々に変換することにより、トレーニング データの分布を学習します。
推論 (つまり、サンプリング) 中に、ガウス ノイズから開始して、トレーニング分布に近いさまざまなサンプルのセットを生成し、最先端の画像合成結果を達成できます。
ただし、この作業では、画像合成ではなく、変更検出の下流アプリケーション用の事前トレーニングされた特徴抽出器として画像合成を利用することに焦点を当てています。
具体的には、事前トレーニングされた DDPM によって生成された特徴表現と変更ラベルを利用して、軽量の変更分類器を微調整します。
LEVIR-CD、WHU-CD、DSIFN-CD、および CDD データセットに対して行われた実験は、提案された DDPM-CD メソッドが、F1 スコア、IoU、および
全体的な精度が向上し、ダウンストリーム アプリケーションの特徴抽出器としての事前トレーニング済み DDPM の重要な役割が強調されます。
コードと事前トレーニングされたモデルの両方を https://github.com/wgcban/ddpm-cd で利用できるようにしました。

要約(オリジナル)

Remote sensing change detection is crucial for understanding the dynamics of our planet’s surface, facilitating the monitoring of environmental changes, evaluating human impact, predicting future trends, and supporting decision-making. In this work, we introduce a novel approach for change detection that can leverage off-the-shelf, unlabeled remote sensing images in the training process by pre-training a Denoising Diffusion Probabilistic Model (DDPM) – a class of generative models used in image synthesis. DDPMs learn the training data distribution by gradually converting training images into a Gaussian distribution using a Markov chain. During inference (i.e., sampling), they can generate a diverse set of samples closer to the training distribution, starting from Gaussian noise, achieving state-of-the-art image synthesis results. However, in this work, our focus is not on image synthesis but on utilizing it as a pre-trained feature extractor for the downstream application of change detection. Specifically, we fine-tune a lightweight change classifier utilizing the feature representations produced by the pre-trained DDPM alongside change labels. Experiments conducted on the LEVIR-CD, WHU-CD, DSIFN-CD, and CDD datasets demonstrate that the proposed DDPM-CD method significantly outperforms the existing state-of-the-art change detection methods in terms of F1 score, IoU, and overall accuracy, highlighting the pivotal role of pre-trained DDPM as a feature extractor for downstream applications. We have made both the code and pre-trained models available at https://github.com/wgcban/ddpm-cd

arxiv情報

提供元, 利用サービス

arxiv.jp, Google