Multitemporal and multispectral data fusion for super-resolution of Sentinel-2 images

要約

マルチスペクトル Sentinel-2 画像は、地球観測データの貴重な情報源ですが、10 m、20 m、および 60 m の地上サンプリング距離に制限されたスペクトル バンドの空間分解能は、多くの場合、不十分なままです。
この問題は、低解像度の観測から高解像度の画像を再構成することを目的とした超解像で対処できます。
Sentinel-2 の場合、スペクトル情報の融合により、20 m および 60 m 帯域を 10 m の解像度に拡張できます。
また、個々の Sentinel-2 バンドのマルチテンポラル スタックを結合する試みもありましたが、これら 2 つのアプローチはこれまでのところ結合されていません。
このホワイト ペーパーでは、マルチスペクトル Sentinel-2 画像の超解像度マルチテンポラル シリーズの新しいディープ ネットワークである DeepSent を紹介します。
拡大されたマルチスペクトル画像を生成するために、スペクトル次元と時間次元で同時に実行される情報融合によって支えられています。
私たちの広範な実験的研究では、私たちのソリューションが、マルチテンポラルまたはマルチスペクトルのデータ融合を実現する他の最先端技術よりも優れていることを示しています。
さらに、DeepSent の利点は、これら 2 つの融合タイプが単一のアーキテクチャにどのように組み合わされているかに起因することを示しています。これは、このような融合を順次実行するよりも優れています。
重要なことに、私たちはこの方法を実世界の Sentinel-2 画像に適用して超解像し、すべてのスペクトル バンドの空間解像度を 3.3 m の公称地上サンプリング距離に高め、その結果を非常に高解像度の WorldView-2 画像と比較しました。
.
論文が受理され次第、実装を公開します。これにより、実際のアプリケーションで超解像度の Sentinel-2 画像を活用する可能性が高まると期待しています。

要約(オリジナル)

Multispectral Sentinel-2 images are a valuable source of Earth observation data, however spatial resolution of their spectral bands limited to 10 m, 20 m, and 60 m ground sampling distance remains insufficient in many cases. This problem can be addressed with super-resolution, aimed at reconstructing a high-resolution image from a low-resolution observation. For Sentinel-2, spectral information fusion allows for enhancing the 20 m and 60 m bands to the 10 m resolution. Also, there were attempts to combine multitemporal stacks of individual Sentinel-2 bands, however these two approaches have not been combined so far. In this paper, we introduce DeepSent — a new deep network for super-resolving multitemporal series of multispectral Sentinel-2 images. It is underpinned with information fusion performed simultaneously in the spectral and temporal dimensions to generate an enlarged multispectral image. In our extensive experimental study, we demonstrate that our solution outperforms other state-of-the-art techniques that realize either multitemporal or multispectral data fusion. Furthermore, we show that the advantage of DeepSent results from how these two fusion types are combined in a single architecture, which is superior to performing such fusion in a sequential manner. Importantly, we have applied our method to super-resolve real-world Sentinel-2 images, enhancing the spatial resolution of all the spectral bands to 3.3 m nominal ground sampling distance, and we compare the outcome with very high-resolution WorldView-2 images. We will publish our implementation upon paper acceptance, and we expect it will increase the possibilities of exploiting super-resolved Sentinel-2 images in real-life applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google