A Deep Learning Approach for Pixel-level Material Classification via Hyperspectral Imaging

要約

コンピュータービジョン、特に検出、セグメンテーション、分類における最近の進歩は、さまざまなドメインに大きな影響を与えています。
ただし、これらの進歩はRGBベースのシステムに関連付けられています。RGBベースのシステムは、廃棄物の並べ替え、医薬品、防御などの産業では、形状や色を超えた高度なオブジェクトの特性評価が必要な産業では不十分です。
スペクトル情報と空間情報の両方をキャプチャするハイパースペクトル（HS）イメージングは​​、特に速度、コスト、安​​全性の観点から、X線蛍光やラマン分光法などの従来の技術よりもこれらの制限と利点を提供します。
この研究では、HSイメージングを材料の特性評価のために深い学習と組み合わせる可能性を評価します。
研究には以下が含まれます。i）HSカメラ、コンベア、および制御された照明で実験的なセットアップを設計する。
ii）半自動マスク生成とラマン分光法ベースの標識を使用して、さまざまなプラスチック（HDPE、PET、PP、PS）のマルチオブジェクトデータセットを生成します。
およびiii）ピクセルレベルの材料分類のためのHS画像で訓練された深い学習モデルの開発。
このモデルは99.94 \％分類精度を達成し、色、サイズ、形状の不変性の堅牢性を示し、材料の重複を効果的に処理しました。
黒いオブジェクトの課題などの制限についても説明します。
RGBを超えてコンピュータービジョンをHSイメージングに拡張すると、伝統的な方法の主要な制限を克服し、将来のアプリケーションの強力な可能性を示しています。

要約(オリジナル)

Recent advancements in computer vision, particularly in detection, segmentation, and classification, have significantly impacted various domains. However, these advancements are tied to RGB-based systems, which are insufficient for applications in industries like waste sorting, pharmaceuticals, and defense, where advanced object characterization beyond shape or color is necessary. Hyperspectral (HS) imaging, capturing both spectral and spatial information, addresses these limitations and offers advantages over conventional technologies such as X-ray fluorescence and Raman spectroscopy, particularly in terms of speed, cost, and safety. This study evaluates the potential of combining HS imaging with deep learning for material characterization. The research involves: i) designing an experimental setup with HS camera, conveyor, and controlled lighting; ii) generating a multi-object dataset of various plastics (HDPE, PET, PP, PS) with semi-automated mask generation and Raman spectroscopy-based labeling; and iii) developing a deep learning model trained on HS images for pixel-level material classification. The model achieved 99.94\% classification accuracy, demonstrating robustness in color, size, and shape invariance, and effectively handling material overlap. Limitations, such as challenges with black objects, are also discussed. Extending computer vision beyond RGB to HS imaging proves feasible, overcoming major limitations of traditional methods and showing strong potential for future applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google