Masking Hyperspectral Imaging Data with Pretrained Models

要約

潜在的なノイズや未知のスペクトル特性に関連する望ましくない背景領域が存在すると、ハイパースペクトル データ処理のパフォーマンスが低下します。
この問題に対処するには、不要な領域をマスクすることが重要です。
関心のある領域のみを処理すると、計算コスト、必要なメモリ、および全体的なパフォーマンスの点で顕著な改善が得られます。
提案された処理パイプラインには、2 つの基本的な部分が含まれています。つまり、関心領域マスクの生成と、それに続く、新しくマスクされたハイパースペクトル キューブのみに対するハイパースペクトル データ処理技術の適用です。
私たちの研究の新規性は、予備的な画像セグメンテーションに採用された方法論にあります。
セグメント エニシング モデル (SAM) を使用してデータセット内のすべてのオブジェクトを抽出し、その後、微調整や再トレーニングを必要とせずに、ゼロショット Grounding Dino オブジェクト検出器でセグメントを精製し、続いて交差フィルターと除外フィルターの手順を実行します。
マスキング手順の有効性を説明するために、提案された方法を、正確なマスキングを必要とする 3 つの困難なアプリケーション シナリオに導入します。
細断されたプラスチックの特性評価、ドリルコアのスキャン、およびゴミの監視。
3 つのアプリケーションに対する提案されたマスキング方法の数値評価が、使用されたハイパーパラメーターとともに提供されます。
このメソッドのスクリプトは https://github.com/hifexplo/Masking で入手できます。

要約(オリジナル)

The presence of undesired background areas associated with potential noise and unknown spectral characteristics degrades the performance of hyperspectral data processing. Masking out unwanted regions is key to addressing this issue. Processing only regions of interest yields notable improvements in terms of computational costs, required memory, and overall performance. The proposed processing pipeline encompasses two fundamental parts: regions of interest mask generation, followed by the application of hyperspectral data processing techniques solely on the newly masked hyperspectral cube. The novelty of our work lies in the methodology adopted for the preliminary image segmentation. We employ the Segment Anything Model (SAM) to extract all objects within the dataset, and subsequently refine the segments with a zero-shot Grounding Dino object detector, followed by intersection and exclusion filtering steps, without the need for fine-tuning or retraining. To illustrate the efficacy of the masking procedure, the proposed method is deployed on three challenging applications scenarios that demand accurate masking; shredded plastics characterization, drill core scanning, and litter monitoring. The numerical evaluation of the proposed masking method on the three applications is provided along with the used hyperparameters. The scripts for the method will be available at https://github.com/hifexplo/Masking.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google