Learned Image Reasoning Prior Penetrates Deep Unfolding Network for Panchromatic and Multi-Spectral Image Fusion

要約

パンシャープニングのためのディープ ニューラル ネットワークの成功は、一般にブラック ボックスの形式で行われ、透明性と解釈可能性に欠けています。
この問題を軽減するために、パンシャープニングタスクに合わせて事前に調整された画像推論を備えた、新しいモデル駆動のディープアンフォールディングフレームワークを提案します。
不確実で曖昧な事前情報として近接オペレータ ネットワークを提供する既存の展開ソリューションとは異なり、当社のフレームワークは、洞察力に富んだ設計を備えたマスク オートエンコーダ (MAE) のコンテンツ推論能力によって動機付けられています。
具体的には、空間マスキング戦略を備えた事前トレーニング済み MAE が、事前の固有推論として機能し、展開中のアーキテクチャに埋め込まれます。
一方、空間スペクトル マスキング戦略を使用して事前にトレーニングされた MAE は、空間スペクトルの一貫性を制約するための損失関数内の正則化項として扱われます。
このような設計は、解釈可能性と表現能力を向上させながら、深く展開するネットワークに先立って画像推論を浸透させます。
私たちのフレームワークの独自性は、全体的な学習プロセスが、パンシャープニング タスクの基礎となる固有の物理メカニズムと明示的に統合されていることです。
複数の衛星データセットに対する広範な実験により、既存の最先端のアプローチに対する私たちの方法の優位性が実証されました。
コードは \url{https://manman1995.github.io/} でリリースされます。

要約(オリジナル)

The success of deep neural networks for pan-sharpening is commonly in a form of black box, lacking transparency and interpretability. To alleviate this issue, we propose a novel model-driven deep unfolding framework with image reasoning prior tailored for the pan-sharpening task. Different from existing unfolding solutions that deliver the proximal operator networks as the uncertain and vague priors, our framework is motivated by the content reasoning ability of masked autoencoders (MAE) with insightful designs. Specifically, the pre-trained MAE with spatial masking strategy, acting as intrinsic reasoning prior, is embedded into unfolding architecture. Meanwhile, the pre-trained MAE with spatial-spectral masking strategy is treated as the regularization term within loss function to constrain the spatial-spectral consistency. Such designs penetrate the image reasoning prior into deep unfolding networks while improving its interpretability and representation capability. The uniqueness of our framework is that the holistic learning process is explicitly integrated with the inherent physical mechanism underlying the pan-sharpening task. Extensive experiments on multiple satellite datasets demonstrate the superiority of our method over the existing state-of-the-art approaches. Code will be released at \url{https://manman1995.github.io/}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google