Multi-Head Attention Residual Unfolded Network for Model-Based Pansharpening

要約

パンシャープンとハイパーシャープンの目的は、それぞれ高解像度のパンクロマティック (PAN) 画像と低解像度のマルチスペクトル (MS) またはハイパースペクトル (HS) 画像を正確に組み合わせることにあります。
Unfolding fusion 手法は、深層学習の強力な表現機能とモデルベースのアプローチの堅牢性を統合します。
これらの技術には、エネルギーの最小化から得られる最適化スキームのステップを深層学習フレームワークに展開することが含まれており、その結果、効率的で高度に解釈可能なアーキテクチャが得られます。
本稿では、衛星画像融合のためのモデルベースの深展開法を提案する。
私たちのアプローチは、MS/HS データの古典的な観測モデル、PAN 画像に基づく高周波注入制約、および任意の凸事前分布を組み込んだ変分定式化に基づいています。
展開段階では、残差ネットワークを通じて PAN 画像にエンコードされた幾何情報を使用するアップサンプリング レイヤーとダウンサンプリング レイヤーを導入します。
私たちの手法のバックボーンはマルチヘッド アテンション残差ネットワーク (MARNet) です。これは、最適化スキームの近接演算子を置き換え、マルチヘッド アテンションと残差学習を組み合わせて、パッチに関して定義された非ローカル演算子を介して画像の自己相似性を活用します。
さらに、融合画像の品質をさらに向上させるために、MARNet アーキテクチャに基づいた後処理モジュールを組み込みます。
PRISMA、Quickbird、および WorldView2 データセットの実験結果は、私たちの手法の優れたパフォーマンスと、さまざまなセンサー構成およびさまざまな空間解像度とスペクトル解像度にわたって一般化できるその能力を示しています。
ソース コードは https://github.com/TAMI-UIB/MARNet で入手できます。

要約(オリジナル)

The objective of pansharpening and hypersharpening is to accurately combine a high-resolution panchromatic (PAN) image with a low-resolution multispectral (MS) or hyperspectral (HS) image, respectively. Unfolding fusion methods integrate the powerful representation capabilities of deep learning with the robustness of model-based approaches. These techniques involve unrolling the steps of the optimization scheme derived from the minimization of an energy into a deep learning framework, resulting in efficient and highly interpretable architectures. In this paper, we propose a model-based deep unfolded method for satellite image fusion. Our approach is based on a variational formulation that incorporates the classic observation model for MS/HS data, a high-frequency injection constraint based on the PAN image, and an arbitrary convex prior. For the unfolding stage, we introduce upsampling and downsampling layers that use geometric information encoded in the PAN image through residual networks. The backbone of our method is a multi-head attention residual network (MARNet), which replaces the proximity operator in the optimization scheme and combines multiple head attentions with residual learning to exploit image self-similarities via nonlocal operators defined in terms of patches. Additionally, we incorporate a post-processing module based on the MARNet architecture to further enhance the quality of the fused images. Experimental results on PRISMA, Quickbird, and WorldView2 datasets demonstrate the superior performance of our method and its ability to generalize across different sensor configurations and varying spatial and spectral resolutions. The source code will be available at https://github.com/TAMI-UIB/MARNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google