TSGAN: An Optical-to-SAR Dual Conditional GAN for Optical based SAR Temporal Shifting

要約

SARから光学への変換というよく研究されている分野とは対照的に、本研究では光学からSARへの変換というあまり研究されていない分野を探求する。この複雑さは、1つの光学データが、SARのビューイングジオメトリに基づく複数のSAR表現を持ちうることから生じる。我々は、SAR Temporal Shiftingと呼ばれる新しいアプローチを提案します。これは、希望するタイムスタンプからの光学データと、異なるタイムポイントからのSARデータを入力しますが、期待されるSARデータと同じビューイングジオメトリを持ち、その間の光学データの変化マップを補完します。このモデルは、光学データで観測された変化に基づいてSARデータを修正し、希望するタイムスタンプのSARデータを生成します。我々のモデルは、Temporal Shifting GAN (TSGAN)と名付けられた二重条件付き生成アドヴァーサルネットワーク(GAN)で、生成器と識別器の両方にシャムエンコーダを組み込んでいる。入力SARデータに対するモデルのオーバーフィッティングを防ぐため、変化量重み付き損失関数を採用した。我々のアプローチは、特に変化のない領域におけるGANのフィクション現象を排除することで、従来の変換手法を凌駕し、これらの領域においてより高いSSIMとPSNRをもたらした。さらに、Pix2Pixのアーキテクチャを修正し、注意メカニズムを組み込むことで、データのすべての領域でモデルの性能が向上した。この研究は、地球画像データの最も豊富で長年のソースであるレガシー光学データセットを活用し、SAR領域や時間分析への利用を拡大する道を開くものである。さらなる研究を促進するために、我々はコード、我々の研究で使用されたデータセット、新たな関心領域のためのペアSAR-光学データセットを生成するためのフレームワークを提供します。これらのリソースはgithub.com/moienr/TemporalGANで利用可能です。

要約(オリジナル)

In contrast to the well-investigated field of SAR-to-Optical translation, this study explores the lesser-investigated domain of Optical-to-SAR translation, a challenging field due to the ill-posed nature of this translation. The complexity arises as a single optical data can have multiple SAR representations based on the SAR viewing geometry. We propose a novel approach, termed SAR Temporal Shifting, which inputs an optical data from the desired timestamp along with a SAR data from a different temporal point but with a consistent viewing geometry as the expected SAR data, both complemented with a change map of optical data during the intervening period. This model modifies the SAR data based on the changes observed in optical data to generate the SAR data for the desired timestamp. Our model, a dual conditional Generative Adversarial Network (GAN), named Temporal Shifting GAN (TSGAN), incorporates a siamese encoder in both the Generator and the Discriminator. To prevent the model from overfitting on the input SAR data, we employed a change weighted loss function. Our approach surpasses traditional translation methods by eliminating the GAN’s fiction phenomenon, particularly in unchanged regions, resulting in higher SSIM and PSNR in these areas. Additionally, modifications to the Pix2Pix architecture and the inclusion of attention mechanisms have enhanced the model’s performance on all regions of the data. This research paves the way for leveraging legacy optical datasets, the most abundant and longstanding source of Earth imagery data, extending their use to SAR domains and temporal analyses. To foster further research, we provide the code, datasets used in our study, and a framework for generating paired SAR-Optical datasets for new regions of interest. These resources are available on github.com/moienr/TemporalGAN

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL