TTRD3: Texture Transfer Residual Denoising Dual Diffusion Model for Remote Sensing Image Super-Resolution

要約

リモートセンシング画像スーパー解像度（RSISR）は、低解像度の入力から高解像度（HR）リモートセンシング画像を再構築して、きめ細かい地面のオブジェクト解釈をサポートします。
既存の方法は、3つの重要な課題に直面しています。（1）空間的に不均一なRSシーンからマルチスケール機能を抽出することの難しさ、（2）再構築におけるセマンティックな矛盾を引き起こす限られた事前の情報、および（3）幾何学的精度と視覚品質の間のトレードオフの不均衡。
これらの問題に対処するために、3つのイノベーションを備えたテクスチャ転送デュアル拡散モデル（TTRD3）を提案します。まず、マルチスケール機能抽出に並行した不均一畳み込みカーネルを使用するマルチスケール機能集約ブロック（MFAB）です。
第二に、同様のシーンの参照画像からHRテクスチャプリエアを転送するスパーステクスチャ転送ガイダンス（STTG）モジュール。
第三に、多様な生成の決定論的再構成とノイズ拡散のための残留拡散を組み合わせた残留除去デュアル拡散モデル（RDDM）フレームワーク。
マルチソースRSデータセットの実験は、最先端の方法よりもTTRD3の優位性を示しており、1.43％のLPIPSの改善と3.67％のFID強化を実現し、ベストパフォーマンスのベースラインと比較して3.67％のFID強化を実現しています。
コード/モデル：https：//github.com/LED-666/TTRD3。

要約(オリジナル)

Remote Sensing Image Super-Resolution (RSISR) reconstructs high-resolution (HR) remote sensing images from low-resolution inputs to support fine-grained ground object interpretation. Existing methods face three key challenges: (1) Difficulty in extracting multi-scale features from spatially heterogeneous RS scenes, (2) Limited prior information causing semantic inconsistency in reconstructions, and (3) Trade-off imbalance between geometric accuracy and visual quality. To address these issues, we propose the Texture Transfer Residual Denoising Dual Diffusion Model (TTRD3) with three innovations: First, a Multi-scale Feature Aggregation Block (MFAB) employing parallel heterogeneous convolutional kernels for multi-scale feature extraction. Second, a Sparse Texture Transfer Guidance (STTG) module that transfers HR texture priors from reference images of similar scenes. Third, a Residual Denoising Dual Diffusion Model (RDDM) framework combining residual diffusion for deterministic reconstruction and noise diffusion for diverse generation. Experiments on multi-source RS datasets demonstrate TTRD3’s superiority over state-of-the-art methods, achieving 1.43% LPIPS improvement and 3.67% FID enhancement compared to best-performing baselines. Code/model: https://github.com/LED-666/TTRD3.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google