Hyperspectral and multispectral image fusion with arbitrary resolution through self-supervised representations

要約

低解像度ハイパースペクトル画像 (LR-HSI) と高解像度マルチスペクトル画像 (HR-MSI) の融合は、HSI 超解像度 (SR) を達成するための効果的な技術として浮上しました。
これまでの研究は主に、適切な事前画像と、潜在HSIと観察された画像の間の不一致から計算された尤度を利用して、潜在高解像度ハイパースペクトル画像（HR-HSI）の事後分布を推定することに集中していました。
ランクネスの低さは、さまざまな事前分布間の行列因数分解を通じて潜在的な HSI 特性を保存する点で際立っています。
ただし、これまでの研究における主な制限は、固定解像度スケールによる融合モデルの一般化にあり、出力解像度が変更されるたびに再トレーニングが必要になります。
この制限を克服するために、我々は 2 つのニューラル表現を行列因数分解に統合し、空間情報とスペクトル情報をそれぞれキャプチャすることにより、新しい連続低ランク因数分解 (CLoRF) を提案します。
このアプローチにより、行列因数分解による低ランク性と自己教師ありのニューラル表現による連続性の両方を利用することができます。理論的には、提案された連続低ランク因数分解における低ランク特性とリプシッツ連続性を証明します。
実験的に、私たちの方法は既存の技術を大幅に上回り、ニューラルネットワークの再トレーニングを必要とせずにユーザーが望む解像度を達成します。
コードは https://github.com/wangting1907/CLoRF-Fusion で入手できます。

要約(オリジナル)

The fusion of a low-resolution hyperspectral image (LR-HSI) with a high-resolution multispectral image (HR-MSI) has emerged as an effective technique for achieving HSI super-resolution (SR). Previous studies have mainly concentrated on estimating the posterior distribution of the latent high-resolution hyperspectral image (HR-HSI), leveraging an appropriate image prior and likelihood computed from the discrepancy between the latent HSI and observed images. Low rankness stands out for preserving latent HSI characteristics through matrix factorization among the various priors. However, the primary limitation in previous studies lies in the generalization of a fusion model with fixed resolution scales, which necessitates retraining whenever output resolutions are changed. To overcome this limitation, we propose a novel continuous low-rank factorization (CLoRF) by integrating two neural representations into the matrix factorization, capturing spatial and spectral information, respectively. This approach enables us to harness both the low rankness from the matrix factorization and the continuity from neural representation in a self-supervised manner.Theoretically, we prove the low-rank property and Lipschitz continuity in the proposed continuous low-rank factorization. Experimentally, our method significantly surpasses existing techniques and achieves user-desired resolutions without the need for neural network retraining. Code is available at https://github.com/wangting1907/CLoRF-Fusion.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google