MatSpectNet: Material Segmentation Network with Domain-Aware and Physically-Constrained Hyperspectral Reconstruction

要約

マテリアルの外観にはかなりのばらつきがあるため、3 チャネル RGB イメージの正確なマテリアル セグメンテーションを達成することは困難です。
複数の波長でサンプリングされた一連のスペクトル測定値であるハイパースペクトル画像は、表面によって反射される電磁放射の強度の変化がシーンの材質組成に依存するため、理論的には材質を識別するための明確な情報を提供します。
しかし、既存のハイパースペクトル データセットは、高密度マテリアル セグメンテーション タスク用の画像とマテリアル カテゴリの数が不足しており、スペクトル カメラでハイパースペクトル画像を収集して注釈を付けるのは法外に高価です。
これに対処するために、RGB 画像から復元されたハイパースペクトル画像を使用してマテリアルをセグメント化する新しいモデル MatSpectNet を提案します。
このネットワークは、最新のカメラの色知覚の原理を利用して再構築されたハイパースペクトル画像を制限し、ドメイン適応法を採用して、スペクトル回復データセットからマテリアル セグメンテーション データセットへのハイパースペクトル再構築機能を一般化します。
再構成されたハイパースペクトル画像は、学習された応答曲線を使用してさらにフィルタリングされ、人間の知覚によって強化されます。
MatSpectNet のパフォーマンスは、LMD データセットと OpenSurfaces データセットで評価されます。
私たちの実験では、最新の出版物と比較して、MatSpectNet では平均ピクセル精度が 1.60% 向上し、平均クラス精度が 3.42% 向上したことが実証されました。
プロジェクト コードは補足資料に添付され、GitHub で公開されます。

要約(オリジナル)

Achieving accurate material segmentation for 3-channel RGB images is challenging due to the considerable variation in a material’s appearance. Hyperspectral images, which are sets of spectral measurements sampled at multiple wavelengths, theoretically offer distinct information for material identification, as variations in intensity of electromagnetic radiation reflected by a surface depend on the material composition of a scene. However, existing hyperspectral datasets are impoverished regarding the number of images and material categories for the dense material segmentation task, and collecting and annotating hyperspectral images with a spectral camera is prohibitively expensive. To address this, we propose a new model, the MatSpectNet to segment materials with recovered hyperspectral images from RGB images. The network leverages the principles of colour perception in modern cameras to constrain the reconstructed hyperspectral images and employs the domain adaptation method to generalise the hyperspectral reconstruction capability from a spectral recovery dataset to material segmentation datasets. The reconstructed hyperspectral images are further filtered using learned response curves and enhanced with human perception. The performance of MatSpectNet is evaluated on the LMD dataset as well as the OpenSurfaces dataset. Our experiments demonstrate that MatSpectNet attains a 1.60% increase in average pixel accuracy and a 3.42% improvement in mean class accuracy compared with the most recent publication. The project code is attached to the supplementary material and will be published on GitHub.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google