GDSR: Global-Detail Integration through Dual-Branch Network with Wavelet Losses for Remote Sensing Image Super-Resolution

要約

近年、畳み込みニューラル ネットワーク、トランスフォーマー、状態空間モデルなどのディープ ニューラル ネットワークは、リモート センシング画像 (RSI) の超解像度 (SR) において大幅な進歩を遂げています。
ただし、既存の SR 手法は通常、グローバル依存関係とローカル依存関係の間の補完関係を見落としています。
これらの方法では、ローカル情報の取得に重点を置くか、グローバル情報を優先するため、モデルはグローバルとローカルの両方の特徴を同時に効果的に取得できなくなります。
さらに、大規模な RSI に適用すると、計算コストが法外に高くなります。
これらの課題に対処するために、RSI-SR への Receptance Weighted Key Value (RWKV) の新しいアプリケーションを導入します。これは、線形の複雑さで長距離の依存関係を捕捉します。
グローバル特徴とローカル特徴を同時にモデル化するために、RWKV と畳み込み演算を並列して SR 再構成を実行し、大規模な RSI を処理する Global-Detail デュアル ブランチ構造 GDSR を提案します。
さらに、2 つのブランチ間の相互補完的な役割を橋渡しする仲介者として Global-Detail Reconstruction Module (GDRM) を導入します。
さらに、画像内の高周波の詳細情報を効果的にキャプチャする損失関数であるウェーブレット損失を提案します。これにより、特に詳細再構成の点で SR の視覚的品質が向上します。
AID、AID_CDM、RSSRD-QH、RSSRD-QH_CDM などのいくつかのベンチマークに関する広範な実験により、GSDR は 63 dB のみを使用しながら、PSNR で最先端のトランスフォーマーベースの方式 HAT よりも平均 0.05 dB 優れていることが実証されました。
% のパラメータと 51% の FLOP を実現し、2.9 倍の推論速度を実現します。
さらに、ウェーブレット損失は、さまざまなアーキテクチャにわたって優れた一般化を示し、RSI-SR 強化に新しい視点を提供します。

要約(オリジナル)

In recent years, deep neural networks, including Convolutional Neural Networks, Transformers, and State Space Models, have achieved significant progress in Remote Sensing Image (RSI) Super-Resolution (SR). However, existing SR methods typically overlook the complementary relationship between global and local dependencies. These methods either focus on capturing local information or prioritize global information, which results in models that are unable to effectively capture both global and local features simultaneously. Moreover, their computational cost becomes prohibitive when applied to large-scale RSIs. To address these challenges, we introduce the novel application of Receptance Weighted Key Value (RWKV) to RSI-SR, which captures long-range dependencies with linear complexity. To simultaneously model global and local features, we propose the Global-Detail dual-branch structure, GDSR, which performs SR reconstruction by paralleling RWKV and convolutional operations to handle large-scale RSIs. Furthermore, we introduce the Global-Detail Reconstruction Module (GDRM) as an intermediary between the two branches to bridge their complementary roles. In addition, we propose Wavelet Loss, a loss function that effectively captures high-frequency detail information in images, thereby enhancing the visual quality of SR, particularly in terms of detail reconstruction. Extensive experiments on several benchmarks, including AID, AID_CDM, RSSRD-QH, and RSSRD-QH_CDM, demonstrate that GSDR outperforms the state-of-the-art Transformer-based method HAT by an average of 0.05 dB in PSNR, while using only 63% of its parameters and 51% of its FLOPs, achieving an inference speed 2.9 times faster. Furthermore, the Wavelet Loss shows excellent generalization across various architectures, providing a novel perspective for RSI-SR enhancement.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google