Patch-Consistent Optical Translation Across Sensors: Large-Scale Denoising Diffusion with Heterogeneous Change Detection as a Use Case

要約

リモート センシングの分野では、異なるセンサーでキャプチャされた画像を比較するという課題が一般的な障害となります。
これには、元のコンテンツを保持しながら、あるセンサー ドメインから別のセンサー ドメインに画像を変換する画像変換が必要です。
ノイズ除去拡散暗黙的モデル (DDIM) は、古典的なコンピューター ビジョンにおける複数の画像間の変換タスクにおいて優れていることが証明されているため、このようなドメイン変換の最先端のソリューションとなる可能性があります。
ただし、これらのモデルは大規模なマルチパッチ画像に対応できず、小さなパッチのみに焦点を当てていることが多く、画像全体で不一致が生じます。
これらの制限を克服するために、DDIM を利用して広い領域にわたって効果的な光学画像変換を行う新しい方法を提案します。
私たちのアプローチは、大規模な低空間解像度画像を異種光学センサーからの高解像度同等の画像に超解像するように調整されており、数百のパッチにわたる均一性を保証します。
Sentinel-II と Planet Dove 画像のペアのデータセットを使用した広範な実験により、私たちのアプローチが正確なドメイン適応とアーティファクトの削減を実現することが示されました。
私たちの技術は、画像の内容を維持しながら、放射（色）の精度と特徴の表現も向上させます。
結果として、異種変更検出 (HCD) などのアプリケーションに不可欠な、一貫したパッチを備えた高解像度の大規模イメージが得られます。
DDIM に根ざした独自のトレーニングおよびテスト アルゴリズム、徹底的な画質評価、および標準的な分類子なしのガイド付き DDIM フレームワークと他の 5 つの主要な手法との比較研究を紹介します。
私たちのアプローチの有効性は、レバノンのベイルートと米国のオースティンの都市環境で実行される HCD タスクの大幅な強化によってさらに実証されています。

要約(オリジナル)

In the field of remote sensing, the challenge of comparing images captured by disparate sensors is a common obstacle. This requires image translation — converting imagery from one sensor domain to another while preserving the original content. Denoising Diffusion Implicit Models (DDIM) are potential state-of-the-art solutions for such domain translation due to their proven superiority in multiple image-to-image translation tasks in classic computer vision. However, these models struggle with large-scale multi-patch imagery, often focusing solely on small patches and resulting in inconsistencies across the full image. To overcome these limitations, we propose a novel method that leverages DDIM for effective optical image translation over large areas. Our approach is tailored to super-resolve large-scale low spatial resolution images into high-resolution equivalents from disparate optical sensors, ensuring uniformity across hundreds of patches. Extensive experiments with a dataset of paired Sentinel-II and Planet Dove images show that our approach provides precise domain adaptation and artifact reduction. Our technique preserves the image content while also improving radiometric (color) accuracy and feature representations. The outcome is a high-resolution large-scale image with consistent patches, vital for applications such as heterogeneous change detection (HCD). We present a unique training and testing algorithm rooted in DDIMs, a thorough image quality assessment, and a comparative study against the standard classifier-free guided DDIM framework and five other leading methods. The efficacy of our approach is further demonstrated by substantial enhancements in HCD tasks performed in the urban settings of Beirut, Lebanon, and Austin, USA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google