Limitations of Data-Driven Spectral Reconstruction — An Optics-Aware Analysis

要約

ハイパースペクトル イメージングは​​、コンピューター ビジョン システムに、スペクトル シグネチャの記録を通じて物質を識別する独特の機能を提供します。
データ駆動型のスペクトル再構成における最近の取り組みは、専用のハードウェアではなく、コスト効率の高い RGB カメラでキャプチャされた RGB 画像からスペクトル情報を抽出することを目的としています。
この論文では、現在のデータセットとオーバーフィッティングに関する実際的な制限と、RGB 画像にエンコードされた情報の性質およびこの情報の依存関係に関する基本的な制限の両方を評価しながら、そのような手法のパフォーマンスを体系的に分析します。
カメラの光学系について。
現在のモデルは、ノイズ レベルや RGB ファイルの圧縮など、わずかな変動に対しては堅牢ではないことがわかりました。
メソッドとデータセットの両方とも、メタメリック カラーを処理する能力にも限界があります。
この問題は、メタメリック データの拡張によって部分的に解決できます。
さらに、光学レンズの収差は、メタメリック情報の RGB 画像へのエンコードを改善するのに役立ち、より高性能のスペクトル イメージングおよび再構成アプローチへの道を切り開きます。

要約(オリジナル)

Hyperspectral imaging empowers computer vision systems with the distinct capability of identifying materials through recording their spectral signatures. Recent efforts in data-driven spectral reconstruction aim at extracting spectral information from RGB images captured by cost-effective RGB cameras, instead of dedicated hardware. In this paper we systematically analyze the performance of such methods, evaluating both the practical limitations with respect to current datasets and overfitting, as well as fundamental limits with respect to the nature of the information encoded in the RGB images, and the dependency of this information on the optical system of the camera. We find that the current models are not robust under slight variations, e.g., in noise level or compression of the RGB file. Both the methods and the datasets are also limited in their ability to cope with metameric colors. This issue can in part be overcome with metameric data augmentation. Moreover, optical lens aberrations can help to improve the encoding of the metameric information into the RGB image, which paves the road towards higher performing spectral imaging and reconstruction approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google