Hyperspectral Imaging-Based Perception in Autonomous Driving Scenarios: Benchmarking Baseline Semantic Segmentation Models

要約

ハイパースペクトル イメージング (HSI) は、リモート センシング、農業、医療において従来の RGB イメージングに比べて優れていることで知られています。
最近では、先進運転支援システム (ADAS) の認識を高めるために注目を集めています。
HyKo、HSI-Drive、HSI-Road、Hyperspectral City などのいくつかの HSI データセットが利用可能になっています。
ただし、これらのデータセットを使用したセマンティック セグメンテーション モデル (SSM) の包括的な評価は不足しています。
このギャップに対処するために、私たちは、DeepLab v3+、HRNet、PSPNet、U-Net の 4 つの深層学習ベースのベースライン SSM と、その 2 つのバリアントである Coordine Attendant (UNet-CA) および Convolutional Block で利用可能なアノテーション付き HSI データセットを評価しました。
アテンション モジュール (UNet-CBAM)。
元のモデル アーキテクチャは、データセットのさまざまな空間次元とスペクトル次元を処理できるように適応されました。
これらのベースライン SSM は、個々の HSI データセットに対してクラス重み付け損失関数を使用してトレーニングされ、積和集合 (IoU)、再現率、精度、F1 スコア、特異性、精度などの平均ベースのメトリクスを使用して評価されました。
私たちの結果は、チャネルごとの特徴を抽出する UNet-CBAM が他の SSM よりも優れており、スペクトル情報を活用してセマンティック セグメンテーションを強化できる可能性を示していることを示しています。
この研究では、HSI ベースの ADAS 認識の将来の評価のために、利用可能な注釈付きデータセットに関するベースライン SSM ベンチマークを確立します。
ただし、データセット サイズの制限、クラスの不均衡の高さ、きめ細かいアノテーションの欠如など、現在の HSI データセットの制限は、ADAS アプリケーション向けの堅牢な SSM を開発する上で依然として大きな制約となっています。

要約(オリジナル)

Hyperspectral Imaging (HSI) is known for its advantages over traditional RGB imaging in remote sensing, agriculture, and medicine. Recently, it has gained attention for enhancing Advanced Driving Assistance Systems (ADAS) perception. Several HSI datasets such as HyKo, HSI-Drive, HSI-Road, and Hyperspectral City have been made available. However, a comprehensive evaluation of semantic segmentation models (SSM) using these datasets is lacking. To address this gap, we evaluated the available annotated HSI datasets on four deep learning-based baseline SSMs: DeepLab v3+, HRNet, PSPNet, and U-Net, along with its two variants: Coordinate Attention (UNet-CA) and Convolutional Block-Attention Module (UNet-CBAM). The original model architectures were adapted to handle the varying spatial and spectral dimensions of the datasets. These baseline SSMs were trained using a class-weighted loss function for individual HSI datasets and evaluated using mean-based metrics such as intersection over union (IoU), recall, precision, F1 score, specificity, and accuracy. Our results indicate that UNet-CBAM, which extracts channel-wise features, outperforms other SSMs and shows potential to leverage spectral information for enhanced semantic segmentation. This study establishes a baseline SSM benchmark on available annotated datasets for future evaluation of HSI-based ADAS perception. However, limitations of current HSI datasets, such as limited dataset size, high class imbalance, and lack of fine-grained annotations, remain significant constraints for developing robust SSMs for ADAS applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google