EigenSR: Eigenimage-Bridged Pre-Trained RGB Learners for Single Hyperspectral Image Super-Resolution

要約

単一ハイパースペクトル画像超解像度 (single-HSI-SR) は、単一入力の低解像度 HSI の解像度を向上させることを目的としています。
データ不足というボトルネックのため、シングル HSI-SR の開発は RGB 自然画像の開発に大きく遅れています。
近年、RGB SR に関する研究により、大規模なベンチマーク データセットで事前トレーニングされたモデルが目に見えないデータのパフォーマンスを大幅に向上させることができ、HSI の救済策となる可能性があることが示されています。
しかし、データ不足のボトルネックを克服するために、事前トレーニングされた RGB モデルを HSI に転送するにはどうすればよいでしょうか?
事前トレーニングされた RGB モデルと HSI の間のチャネルには大きな違いがあるため、モデルはスペクトル次元に沿った相関に焦点を当てることができず、HSI での利用能力が制限されます。
HSI 空間スペクトル デカップリングに触発されて、最初に空間コンポーネント (固有画像として知られる) を使用して事前トレーニングされたモデルを微調整し、次に反復スペクトル正則化 (ISR) を使用して目に見えない HSI を推論して維持する新しいフレームワークを提案します。
スペクトル相関。
私たちの方法の利点は次のとおりです。1) スペクトル忠実度を維持しながら、事前トレーニングされた RGB モデルの空間テクスチャ処理機能を効果的に HSI に注入します。2) スペクトル非相関領域での学習により、スペクトルに依存しないデータへの一般化可能性が向上します。
、3) 固有画像領域での推論は、HSI のスペクトルの低ランク特性を自然に利用しており、それによって複雑さが軽減されます。
この研究は、固有画像を介して事前トレーニングされた RGB モデルと HSI の間のギャップを埋め、限られた HSI トレーニング データの問題に対処するため、EigenSR という名前が付けられています。
広範な実験により、EigenSR は空間メトリックとスペクトル メトリックの両方で最先端 (SOTA) 手法よりも優れていることが示されています。

要約(オリジナル)

Single hyperspectral image super-resolution (single-HSI-SR) aims to improve the resolution of a single input low-resolution HSI. Due to the bottleneck of data scarcity, the development of single-HSI-SR lags far behind that of RGB natural images. In recent years, research on RGB SR has shown that models pre-trained on large-scale benchmark datasets can greatly improve performance on unseen data, which may stand as a remedy for HSI. But how can we transfer the pre-trained RGB model to HSI, to overcome the data-scarcity bottleneck? Because of the significant difference in the channels between the pre-trained RGB model and the HSI, the model cannot focus on the correlation along the spectral dimension, thus limiting its ability to utilize on HSI. Inspired by the HSI spatial-spectral decoupling, we propose a new framework that first fine-tunes the pre-trained model with the spatial components (known as eigenimages), and then infers on unseen HSI using an iterative spectral regularization (ISR) to maintain the spectral correlation. The advantages of our method lie in: 1) we effectively inject the spatial texture processing capabilities of the pre-trained RGB model into HSI while keeping spectral fidelity, 2) learning in the spectral-decorrelated domain can improve the generalizability to spectral-agnostic data, and 3) our inference in the eigenimage domain naturally exploits the spectral low-rank property of HSI, thereby reducing the complexity. This work bridges the gap between pre-trained RGB models and HSI via eigenimages, addressing the issue of limited HSI training data, hence the name EigenSR. Extensive experiments show that EigenSR outperforms the state-of-the-art (SOTA) methods in both spatial and spectral metrics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google