Unsupervised Pansharpening via Low-rank Diffusion Model

要約

パンシャープニングは、高解像度パンクロマティック (PAN) 画像と低解像度マルチスペクトル (LRMS) 画像を結合して、単一の高解像度マルチスペクトル (HRMS) 画像を作成するプロセスです。
既存の深層学習ベースのパンシャープン手法のほとんどは一般化能力が低く、従来のモデルベースのパンシャープン手法では事前に画像構造を慎重に手動で探索する必要があります。
これらの問題を軽減するために、この論文では、拡散モデルと低ランク行列因数分解手法を組み合わせた教師なしパンシャープン法を提案します。
具体的には、HRMS 画像が 2 つの低ランクのテンソル、つまり基本テンソルと係数行列の積に分解されると仮定します。
基本テンソルは画像フィールド上にあり、スペクトル次元が低いため、事前にトレーニングされたリモート センシング拡散モデルを便利に利用して、その画像構造をキャプチャできます。
さらに、HRMS のスペクトル情報を保存する、観測された LRMS 画像から係数行列を事前推定するためのシンプルかつ非常に効果的な方法を導き出します。
いくつかのベンチマーク データセットに関する広範な実験結果は、私たちが提案する手法が従来のモデルベースのアプローチよりも優れたパフォーマンスを発揮し、深層学習ベースの手法よりも優れた一般化能力を備えていることを示しています。
コードは https://github.com/xyrui/PLRDiff で公開されています。

要約(オリジナル)

Pansharpening is a process of merging a highresolution panchromatic (PAN) image and a low-resolution multispectral (LRMS) image to create a single high-resolution multispectral (HRMS) image. Most of the existing deep learningbased pansharpening methods have poor generalization ability and the traditional model-based pansharpening methods need careful manual exploration for the image structure prior. To alleviate these issues, this paper proposes an unsupervised pansharpening method by combining the diffusion model with the low-rank matrix factorization technique. Specifically, we assume that the HRMS image is decomposed into the product of two low-rank tensors, i.e., the base tensor and the coefficient matrix. The base tensor lies on the image field and has low spectral dimension, we can thus conveniently utilize a pre-trained remote sensing diffusion model to capture its image structures. Additionally, we derive a simple yet quite effective way to preestimate the coefficient matrix from the observed LRMS image, which preserves the spectral information of the HRMS. Extensive experimental results on some benchmark datasets demonstrate that our proposed method performs better than traditional model-based approaches and has better generalization ability than deep learning-based techniques. The code is released in https://github.com/xyrui/PLRDiff.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google