HS3-Bench: A Benchmark and Strong Baseline for Hyperspectral Semantic Segmentation in Driving Scenarios

要約

セマンティック セグメンテーションは、シーンとその中のオブジェクトを理解するために、多くの視覚アプリケーションにとって不可欠なステップです。
ハイパースペクトル イメージング技術の最近の進歩により、運転シナリオへの応用が可能になり、デバイスの知覚能力が RGB カメラよりも優れていることが期待されています。
いくつかのデータセットは存在しますが、このタスクの進捗状況を体系的に測定し、ハイパースペクトル データの利点を評価するために利用できる標準ベンチマークはありません。
このペーパーでは、HyperSpectral Semantic Segmentation ベンチマーク (HS3-Bench) を提供することで、このギャップを埋めることに取り組みます。
3 つの運転シナリオ データセットからの注釈付きハイパースペクトル画像を結合し、標準化されたメトリクス、実装、評価プロトコルを提供します。
このベンチマークを使用して、個々のデータセットでの事前トレーニングの有無にかかわらず、以前の最先端のパフォーマンスを超える 2 つの強力なベースライン モデルを導き出します。
さらに、我々の結果は、既存の学習ベースの手法は、追加のハイパースペクトル チャネルを活用するよりも、追加の RGB トレーニング データを活用することでより多くの恩恵を受けることを示しています。
これは、運転シナリオにおけるセマンティック セグメンテーションのためのハイパースペクトル イメージングに関する将来の研究に重要な疑問を投げかけます。
ベンチマークを実行するコードと強力なベースライン アプローチは、https://github.com/nicksheisen/hyperseg で入手できます。

要約(オリジナル)

Semantic segmentation is an essential step for many vision applications in order to understand a scene and the objects within. Recent progress in hyperspectral imaging technology enables the application in driving scenarios and the hope is that the devices perceptive abilities provide an advantage over RGB-cameras. Even though some datasets exist, there is no standard benchmark available to systematically measure progress on this task and evaluate the benefit of hyperspectral data. In this paper, we work towards closing this gap by providing the HyperSpectral Semantic Segmentation benchmark (HS3-Bench). It combines annotated hyperspectral images from three driving scenario datasets and provides standardized metrics, implementations, and evaluation protocols. We use the benchmark to derive two strong baseline models that surpass the previous state-of-the-art performances with and without pre-training on the individual datasets. Further, our results indicate that the existing learning-based methods benefit more from leveraging additional RGB training data than from leveraging the additional hyperspectral channels. This poses important questions for future research on hyperspectral imaging for semantic segmentation in driving scenarios. Code to run the benchmark and the strong baseline approaches are available under https://github.com/nickstheisen/hyperseg.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google