Semantic Segmentation in Satellite Hyperspectral Imagery by Deep Learning

要約

衛星は、運用を最適化し、軌道上の推論を通じて自律性を高めるために、オンボード AI を採用することが増えています。
ハイパースペクトル画像のセグメンテーションに深層学習 (DL) モデルを使用すると、リモート センシング アプリケーションに利点がもたらされます。
この研究では、将来の宇宙展開における可能性を考慮して選択された、ハイパースペクトル画像のマルチクラス セグメンテーション用の 20 個のモデルをトレーニングおよびテストします。
これらのモデルには、1D および 2D 畳み込みニューラル ネットワーク (CNN) と最新のビジョン トランスフォーマー (ViT) が含まれています。
私たちは、ハイパースペクトル領域で最先端のモデルを上回る軽量 1D-CNN モデル 1D-Justo-LiuNet を提案します。
1D-Justo-LiuNet は、2D-CNN UNets のパフォーマンスを上回り、モバイル推論用に設計された Apple の軽量ビジョン トランスフォーマーを上回ります。
1D-Justo-LiuNet は、高速推論を維持しながら、テストされたすべてのモデルの中で最小のモデル サイズ (4,563 パラメーター) で最高の精度 (0.93) を達成します。
スペクトル情報と空間情報の両方をエンコードする 2D-CNN や ViT とは異なり、1D-Justo-LiuNet はハイパースペクトル データ内の豊富なスペクトル特徴のみに焦点を当て、高次元特徴空間の恩恵を受けます。
私たちの発見はさまざまな衛星データセットにわたって検証されており、HYPSO-1 ミッションは海、陸、雲のセグメンテーションの主要なケーススタディとして機能します。
さらに、NASA の EO-1 など、他のハイパースペクトル ミッションでの一般化テストを通じて結論を確認します。
優れたパフォーマンスとコンパクトなサイズに基づいて、1D-Justo-LiuNet は軌道上への展開に非常に適しており、エッジでの衛星運用の最適化と自動化に効果的なソリューションを提供すると結論付けています。

要約(オリジナル)

Satellites are increasingly adopting on-board AI to optimize operations and increase autonomy through in-orbit inference. The use of Deep Learning (DL) models for segmentation in hyperspectral imagery offers advantages for remote sensing applications. In this work, we train and test 20 models for multi-class segmentation in hyperspectral imagery, selected for their potential in future space deployment. These models include 1D and 2D Convolutional Neural Networks (CNNs) and the latest vision transformers (ViTs). We propose a lightweight 1D-CNN model, 1D-Justo-LiuNet, which outperforms state-of-the-art models in the hypespectral domain. 1D-Justo-LiuNet exceeds the performance of 2D-CNN UNets and outperforms Apple’s lightweight vision transformers designed for mobile inference. 1D-Justo-LiuNet achieves the highest accuracy (0.93) with the smallest model size (4,563 parameters) among all tested models, while maintaining fast inference. Unlike 2D-CNNs and ViTs, which encode both spectral and spatial information, 1D-Justo-LiuNet focuses solely on the rich spectral features in hyperspectral data, benefitting from the high-dimensional feature space. Our findings are validated across various satellite datasets, with the HYPSO-1 mission serving as the primary case study for sea, land, and cloud segmentation. We further confirm our conclusions through generalization tests on other hyperspectral missions, such as NASA’s EO-1. Based on its superior performance and compact size, we conclude that 1D-Justo-LiuNet is highly suitable for in-orbit deployment, providing an effective solution for optimizing and automating satellite operations at edge.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google