Test-time Training for Hyperspectral Image Super-resolution

要約

ハイパースペクトル画像 (HSI) 超解像度 (SR) の進歩は、RGB 画像 SR の研究にまだ遅れています。
通常、HSI には多数のスペクトル帯域があるため、HSI SR のスペクトル帯域相互作用を正確にモデル化することは困難です。
また、HSI SR のトレーニング データは入手が難しいため、通常、データセットはかなり小さいです。
この研究では、この問題に取り組むための新しいテスト時トレーニング方法を提案します。
具体的には、新しい自己トレーニング フレームワークが開発され、より正確な擬似ラベルとより正確な LR-HR 関係が生成され、それらを使用してモデルをさらにトレーニングしてパフォーマンスを向上させることができます。
テスト時のトレーニング方法をより適切にサポートするために、スペクトル帯域相互作用をモデル化せずに HSI SR を学習するための新しいネットワーク アーキテクチャも提案します。また、テスト時のトレーニング データの多様性を高めるための新しいデータ拡張方法 Spectral Mixup を提案します。
また、食物から植物、素材、一般的な風景に至るまで、興味深い物体の多様な画像セットを含む新しい HSI データセットも収集します。
複数のデータセットに対する広範な実験により、私たちの手法がテスト時のトレーニング後に事前トレーニングされたモデルのパフォーマンスを大幅に向上させ、HSI SR に関して競合手法を大幅に上回るパフォーマンスを発揮できることが示されています。

要約(オリジナル)

The progress on Hyperspectral image (HSI) super-resolution (SR) is still lagging behind the research of RGB image SR. HSIs usually have a high number of spectral bands, so accurately modeling spectral band interaction for HSI SR is hard. Also, training data for HSI SR is hard to obtain so the dataset is usually rather small. In this work, we propose a new test-time training method to tackle this problem. Specifically, a novel self-training framework is developed, where more accurate pseudo-labels and more accurate LR-HR relationships are generated so that the model can be further trained with them to improve performance. In order to better support our test-time training method, we also propose a new network architecture to learn HSI SR without modeling spectral band interaction and propose a new data augmentation method Spectral Mixup to increase the diversity of the training data at test time. We also collect a new HSI dataset with a diverse set of images of interesting objects ranging from food to vegetation, to materials, and to general scenes. Extensive experiments on multiple datasets show that our method can improve the performance of pre-trained models significantly after test-time training and outperform competing methods significantly for HSI SR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google