Continuous Spectral Reconstruction from RGB Images via Implicit Neural Representation

要約

スペクトル再構成の既存の方法は、通常、RGB 画像から多数のスペクトル バンドへの離散マッピングを学習します。
ただし、このモデリング戦略では、スペクトル シグネチャの連続的な性質が無視されます。
この論文では、新しい連続スペクトル表現を導入することにより、この制限を解除するニューラル スペクトル再構成 (NeSR) を提案します。
この目的のために、陰関数の概念を採用し、ニューラル ネットワークを使用してパラメーター化された実施形態を実装します。
具体的には、最初にバックボーン ネットワークを採用して、RGB 入力の空間的特徴を抽出します。
それに基づいて、スペクトラル プロファイル補間 (SPI) モジュールとニューラル アテンション マッピング (NAM) モジュールを考案し、より良い表現のために空間スペクトル相関が関与する深い特徴を強化します。
次に、サンプリングされたスペクトル バンドの数を連続陰関数の座標として表示し、深い特徴からスペクトル強度への射影を学習します。
広範な実験により、ベースライン法よりも再構成の精度において NeSR の明確な利点が実証されています。
さらに、NeSR は、任意の数のスペクトル バンドをターゲット出力として有効にすることで、スペクトル再構成の柔軟性を拡張します。

要約(オリジナル)

Existing methods for spectral reconstruction usually learn a discrete mapping from RGB images to a number of spectral bands. However, this modeling strategy ignores the continuous nature of spectral signature. In this paper, we propose Neural Spectral Reconstruction (NeSR) to lift this limitation, by introducing a novel continuous spectral representation. To this end, we embrace the concept of implicit function and implement a parameterized embodiment with a neural network. Specifically, we first adopt a backbone network to extract spatial features of RGB inputs. Based on it, we devise Spectral Profile Interpolation (SPI) module and Neural Attention Mapping (NAM) module to enrich deep features, where the spatial-spectral correlation is involved for a better representation. Then, we view the number of sampled spectral bands as the coordinate of continuous implicit function, so as to learn the projection from deep features to spectral intensities. Extensive experiments demonstrate the distinct advantage of NeSR in reconstruction accuracy over baseline methods. Moreover, NeSR extends the flexibility of spectral reconstruction by enabling an arbitrary number of spectral bands as the target output.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google