Self-Supervised Hyperspectral Inpainting with the Optimisation inspired Deep Neural Network Prior

要約

ハイパースペクトル イメージ (HSI) は、数百または数千の狭いスペクトル帯域をカバーし、豊富な空間情報とスペクトル情報を伝えます。
ただし、機器誤差や大気の変化により、実際に得られる HSI はノイズやデッドピクセル (ライン) によって汚染されることが多く、情報が欠落し、その後のアプリケーションに重大な影響を与える可能性があります。
ここでは、Low Rank and Sparsity Constraint Plug-and-Play (LRS-PnP) と呼ばれる、新しい HSI 欠落ピクセル予測アルゴリズムを紹介します。
LRS-PnP は、画像のすべてのスペクトル バンドが欠落している場合でも、欠落しているピクセルとバンドを予測できることが示されています。
提案された LRS-PnP アルゴリズムは、LRS-PnP と Deep Image Prior (DIP) を組み合わせて、LRS-PnP-DIP と呼ばれる自己教師ありモデルにさらに拡張されます。
実際のデータを使用した一連の実験では、LRS-PnP-DIP が他の学習ベースの方法と比較して最先端の修復パフォーマンスを達成するか、それを上回るパフォーマンスを発揮することが示されています。

要約(オリジナル)

Hyperspectral Image (HSI)s cover hundreds or thousands of narrow spectral bands, conveying a wealth of spatial and spectral information. However, due to the instrumental errors and the atmospheric changes, the HSI obtained in practice are often contaminated by noise and dead pixels(lines), resulting in missing information that may severely compromise the subsequent applications. We introduce here a novel HSI missing pixel prediction algorithm, called Low Rank and Sparsity Constraint Plug-and-Play (LRS-PnP). It is shown that LRS-PnP is able to predict missing pixels and bands even when all spectral bands of the image are missing. The proposed LRS-PnP algorithm is further extended to a self-supervised model by combining the LRS-PnP with the Deep Image Prior (DIP), called LRS-PnP-DIP. In a series of experiments with real data, It is shown that the LRS-PnP-DIP either achieves state-of-the-art inpainting performance compared to other learning-based methods, or outperforms them.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google